web-dev-qa-db-ja.com

Spark Hiveの動的パーティションテーブルとしてのデータフレーム

Csvファイルからデータフレームに読み込むサンプルアプリケーションがあります。データフレームは、メソッドdf.saveAsTable(tablename,mode)を使用して、寄せ木細工の形式でHiveテーブルに保存できます。

上記のコードは正常に動作しますが、毎日のデータが非常に多いため、createdate（テーブルの列）に基づいてHiveテーブルを動的にパーティション分割します。

データフレームを動的に分割してHiveウェアハウスに保存する方法はありますか。 hivesqlcontext.sql(insert into table partittioin by(date)....)を使用した挿入ステートメントのハードコーディングを控えたい。

質問は： DataFrameをHiveに直接保存する方法 の拡張と見なすことができます

どんな助けも大歓迎です。

hadoopapache-sparkhiveapache-spark-sqlspark-dataframe
26
Chetandalal

私はそれが次のように働くと信じています：

dfは、年、月、その他の列を持つデータフレームです

df.write.partitionBy('year', 'month').saveAsTable(...)

または

df.write.partitionBy('year', 'month').insertInto(...)
28
mdurant

df.write().mode(SaveMode.Append).partitionBy("colname").saveAsTable("Table")を使用して、パーティション化されたHiveテーブルに書き込むことができました

動作させるには、次のプロパティを有効にする必要がありました。

 hiveContext.setConf（ "Hive.exec.dynamic.partition"、 "true"）
 hiveContext.setConf（ "Hive.exec.dynamic.partition.mode"、 "nonstrict"）
32
Jins George

私も同じことに直面しましたが、次のトリックを使用して解決しました。

  1. パーティション化されたテーブルを実行すると、パーティション化された列で大文字と小文字が区別されます。

  2. パーティション化された列は、同じ名前で大文字と小文字を区別してDataFrameに存在する必要があります。コード：

    var dbName="your database name"
var finaltable="your table name"

// First check if table is available or not..
if (sparkSession.sql("show tables in " + dbName).filter("tableName='" +finaltable + "'").collect().length == 0) {
     //If table is not available then it will create for you..
     println("Table Not Present \n  Creating table " + finaltable)
     sparkSession.sql("use Database_Name")
     sparkSession.sql("SET Hive.exec.dynamic.partition = true")
     sparkSession.sql("SET Hive.exec.dynamic.partition.mode = nonstrict ")
     sparkSession.sql("SET Hive.exec.max.dynamic.partitions.pernode = 400")
     sparkSession.sql("create table " + dbName +"." + finaltable + "(EMP_ID        string,EMP_Name          string,EMP_Address               string,EMP_Salary    bigint)  PARTITIONED BY (EMP_DEP STRING)")
     //Table is created now insert the DataFrame in append Mode
     df.write.mode(SaveMode.Append).insertInto(empDB + "." + finaltable)
}
6
Nilesh Shinde

これは私のために働くものです。これらの設定を設定し、データをパーティションテーブルに配置します。

from pyspark.sql import HiveContext
sqlContext = HiveContext(sc)
sqlContext.setConf("Hive.exec.dynamic.partition", "true")
sqlContext.setConf("Hive.exec.dynamic.partition.mode", 
"nonstrict")
1
Shaunak Bangale

これはpythonおよびspark 2.1.0。

これを行うための最良の方法であるかどうかはわかりませんが、動作します...

# WRITE DATA INTO A Hive TABLE
import pyspark
from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .master("local[*]") \
    .config("Hive.exec.dynamic.partition", "true") \
    .config("Hive.exec.dynamic.partition.mode", "nonstrict") \
    .enableHiveSupport() \
    .getOrCreate()

### CREATE Hive TABLE (with one row)
spark.sql("""
CREATE TABLE IF NOT EXISTS Hive_df (col1 INT, col2 STRING, partition_bin INT)
USING Hive OPTIONS(fileFormat 'PARQUET')
PARTITIONED BY (partition_bin)
LOCATION 'Hive_df'
""")
spark.sql("""
INSERT INTO Hive_df PARTITION (partition_bin = 0)
VALUES (0, 'init_record')
""")
###

### CREATE NON Hive TABLE (with one row)
spark.sql("""
CREATE TABLE IF NOT EXISTS non_Hive_df (col1 INT, col2 STRING, partition_bin INT)
USING PARQUET
PARTITIONED BY (partition_bin)
LOCATION 'non_Hive_df'
""")
spark.sql("""
INSERT INTO non_Hive_df PARTITION (partition_bin = 0)
VALUES (0, 'init_record')
""")
###

### ATTEMPT DYNAMIC OVERWRITE WITH EACH TABLE
spark.sql("""
INSERT OVERWRITE TABLE Hive_df PARTITION (partition_bin)
VALUES (0, 'new_record', 1)
""")
spark.sql("""
INSERT OVERWRITE TABLE non_Hive_df PARTITION (partition_bin)
VALUES (0, 'new_record', 1)
""")

spark.sql("SELECT * FROM Hive_df").show() # 2 row dynamic overwrite
spark.sql("SELECT * FROM non_Hive_df").show() # 1 row full table overwrite
0
isichei