web-dev-qa-db-ja.com

Pythonを使用してHBaseとSparkを接続するには？

Sparkを使用して計算を分散します。これらの計算はPythonで行われます。PySparkを使用してデータを読み取り、前処理します。タスクへの入力データは保存されます。残念ながら、Pythonを使用してSparkから）にHBaseデータを読み書きするための満足できる（つまり、使いやすくスケーラブルな）方法をまだ見つけていません。

私が以前に調べたこと：

  • Pythonプロセスをhappybaseを使用して接続します。このパッケージでは、HBaseのThrift APIを使用してPythonからHBaseに接続できます。このように、基本的にスキップSparkデータの読み取り/書き込みのため、潜在的なHBase-Spark最適化が欠落しています。読み取り速度はかなり速いように見えますが、書き込み速度は遅いです。現在、これが私の最善のソリューションです。

  • HBaseのMapReduceインターフェイスを使用するSparkContextのnewAPIHadoopRDDおよびsaveAsNewAPIHadoopDatasetを使用します。この例はかつてSpark=コードベース（ こちらを参照 ）に含まれていました。ただし、これらはHBaseのSparkバインディング（ ここを参照 ）。たとえば、newAPIHadoopRDDから返される文字列のように、このメソッドは遅く、扱いにくい（読み取り、書き込みの場合）こともわかりました。 Pythonオブジェクトが必要です。また、一度に1列しかサポートしていませんでした。

私が知っている代替案：

  • 現在ClouderaのCDHを使用しており、バージョン5.7.0ではhbase-spark（ CDHリリースノート 、および 詳細なブログ投稿 ）。このモジュール（以前はSparkOnHBaseとして知られていました）は公式にHBase 2.0の一部になります。残念ながら、この素晴らしいソリューションはScala/Javaでのみ機能するようです。

  • Huaweiの Spark-SQL-on-HBase / Astro （この2つの間に違いはありません...）。私のソリューションが望んでいるほど堅牢で十分にサポートされているようには見えません。

pythonapache-sparkhbasepysparkapache-spark-sql
13
Def_Os

hbase-sparkのメーカーの1人によって このコメント が見つかりました。これは、PySparkを使用してSpark SQLを使用してHBaseをクエリする方法があることを示唆しているようです。

そして実際、 ここで説明するパターン は、Spark PySparkを使用したSQL、次の例で示すように）でHBaseにクエリを適用できます。

from pyspark import SparkContext
from pyspark.sql import SQLContext

sc = SparkContext()
sqlc = SQLContext(sc)

data_source_format = 'org.Apache.hadoop.hbase.spark'

df = sc.parallelize([('a', '1.0'), ('b', '2.0')]).toDF(schema=['col0', 'col1'])

# ''.join(string.split()) in order to write a multi-line JSON string here.
catalog = ''.join("""{
    "table":{"namespace":"default", "name":"testtable"},
    "rowkey":"key",
    "columns":{
        "col0":{"cf":"rowkey", "col":"key", "type":"string"},
        "col1":{"cf":"cf", "col":"col1", "type":"string"}
    }
}""".split())


# Writing
df.write\
.options(catalog=catalog)\  # alternatively: .option('catalog', catalog)
.format(data_source_format)\
.save()

# Reading
df = sqlc.read\
.options(catalog=catalog)\
.format(data_source_format)\
.load()

このためにhbase-spark-1.2.0-cdh5.7.0.jar（Clouderaによって配布された）を試してみましたが、トラブルに遭遇しました（書き込み時にorg.Apache.hadoop.hbase.spark.DefaultSource does not allow create table as select、読み取り時にJava.util.NoSuchElementException: None.get）。結局のところ、CDHの現在のバージョンには、Spark SQL-HBase統合を許可するhbase-sparkへの変更が含まれていません。

doesが私のために働くのはshc Spark package、found here 。上記のスクリプトに対して行った唯一の変更は、変更することです。

data_source_format = 'org.Apache.spark.sql.execution.datasources.hbase'

shc READMEの例に従って、CDHクラスターで上記のスクリプトを送信する方法は次のとおりです。

spark-submit --packages com.hortonworks:shc:1.0.0-1.6-s_2.10 --repositories http://repo.hortonworks.com/content/groups/public/ --files /opt/cloudera/parcels/CDH/lib/hbase/conf/hbase-site.xml example.py

shcに関するほとんどの作業は、バージョン2.0でのリリースのために、HBaseのhbase-sparkモジュールに既にマージされているようです。それにより、Spark上記のパターンを使用してHBaseのSQLクエリが可能になります（参照： https://hbase.Apache.org/book.html#_sparksql_dataframes 上記の私の例は、PySparkユーザーにとってどのように見えるかを示しています。

最後に、注意：上記のサンプルデータには文字列しかありません。 Pythonデータ変換はshcでサポートされていないため、整数と浮動小数点数がHBaseに表示されないか、奇妙な値で問題が発生しました。

18
Def_Os