Sparkを使用して計算を分散します。これらの計算はPythonで行われます。PySparkを使用してデータを読み取り、前処理します。タスクへの入力データは保存されます。残念ながら、Pythonを使用してSparkから)にHBaseデータを読み書きするための満足できる(つまり、使いやすくスケーラブルな)方法をまだ見つけていません。
私が以前に調べたこと:
Pythonプロセスをhappybase
を使用して接続します。このパッケージでは、HBaseのThrift APIを使用してPythonからHBaseに接続できます。このように、基本的にスキップSparkデータの読み取り/書き込みのため、潜在的なHBase-Spark最適化が欠落しています。読み取り速度はかなり速いように見えますが、書き込み速度は遅いです。現在、これが私の最善のソリューションです。
HBaseのMapReduceインターフェイスを使用するSparkContextのnewAPIHadoopRDD
およびsaveAsNewAPIHadoopDataset
を使用します。この例はかつてSpark=コードベース( こちらを参照 )に含まれていました。ただし、これらはHBaseのSparkバインディング( ここを参照 )。たとえば、newAPIHadoopRDD
から返される文字列のように、このメソッドは遅く、扱いにくい(読み取り、書き込みの場合)こともわかりました。 Pythonオブジェクトが必要です。また、一度に1列しかサポートしていませんでした。
私が知っている代替案:
現在ClouderaのCDHを使用しており、バージョン5.7.0ではhbase-spark
( CDHリリースノート 、および 詳細なブログ投稿 )。このモジュール(以前はSparkOnHBase
として知られていました)は公式にHBase 2.0の一部になります。残念ながら、この素晴らしいソリューションはScala/Javaでのみ機能するようです。
Huaweiの Spark-SQL-on-HBase / Astro (この2つの間に違いはありません...)。私のソリューションが望んでいるほど堅牢で十分にサポートされているようには見えません。
hbase-spark
のメーカーの1人によって このコメント が見つかりました。これは、PySparkを使用してSpark SQLを使用してHBaseをクエリする方法があることを示唆しているようです。
そして実際、 ここで説明するパターン は、Spark PySparkを使用したSQL、次の例で示すように)でHBaseにクエリを適用できます。
from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = SparkContext()
sqlc = SQLContext(sc)
data_source_format = 'org.Apache.hadoop.hbase.spark'
df = sc.parallelize([('a', '1.0'), ('b', '2.0')]).toDF(schema=['col0', 'col1'])
# ''.join(string.split()) in order to write a multi-line JSON string here.
catalog = ''.join("""{
"table":{"namespace":"default", "name":"testtable"},
"rowkey":"key",
"columns":{
"col0":{"cf":"rowkey", "col":"key", "type":"string"},
"col1":{"cf":"cf", "col":"col1", "type":"string"}
}
}""".split())
# Writing
df.write\
.options(catalog=catalog)\ # alternatively: .option('catalog', catalog)
.format(data_source_format)\
.save()
# Reading
df = sqlc.read\
.options(catalog=catalog)\
.format(data_source_format)\
.load()
このためにhbase-spark-1.2.0-cdh5.7.0.jar
(Clouderaによって配布された)を試してみましたが、トラブルに遭遇しました(書き込み時にorg.Apache.hadoop.hbase.spark.DefaultSource does not allow create table as select
、読み取り時にJava.util.NoSuchElementException: None.get
)。結局のところ、CDHの現在のバージョンには、Spark SQL-HBase統合を許可するhbase-spark
への変更が含まれていません。
doesが私のために働くのはshc
Spark package、found here 。上記のスクリプトに対して行った唯一の変更は、変更することです。
data_source_format = 'org.Apache.spark.sql.execution.datasources.hbase'
shc
READMEの例に従って、CDHクラスターで上記のスクリプトを送信する方法は次のとおりです。
spark-submit --packages com.hortonworks:shc:1.0.0-1.6-s_2.10 --repositories http://repo.hortonworks.com/content/groups/public/ --files /opt/cloudera/parcels/CDH/lib/hbase/conf/hbase-site.xml example.py
shc
に関するほとんどの作業は、バージョン2.0でのリリースのために、HBaseのhbase-spark
モジュールに既にマージされているようです。それにより、Spark上記のパターンを使用してHBaseのSQLクエリが可能になります(参照: https://hbase.Apache.org/book.html#_sparksql_dataframes 上記の私の例は、PySparkユーザーにとってどのように見えるかを示しています。
最後に、注意:上記のサンプルデータには文字列しかありません。 Pythonデータ変換はshc
でサポートされていないため、整数と浮動小数点数がHBaseに表示されないか、奇妙な値で問題が発生しました。