web-dev-qa-db-ja.com

Spark-Thirft-HiveInteractorを使用して論理/物理クエリを実行するにはどうすればよいですか

Spark-以下を使用して論理/物理クエリを実行する方法

  1. スリフト経由
  2. SparkInteractor経由
apache-sparkapache-spark-sqlspark-dataframe
7
San

倹約を介してbeelineで以下のようなクエリでexplainステートメントを使用できます。

EXPLAIN EXTENDED select * from sr23 join sr12 [<join condidtion>]

sparkインターセプター。？それはspark-sql Shell。？であるとはどういう意味ですか？そうである場合は、上記のクエリを使用できます。

Spark-Shellを意味する場合は、データフレームでexplain（）関数を呼び出す必要があります。

例えば：

val df1 = sqlContext.sql(" < your sql query > ");

df1.explain;

これにより、物理的計画と論理的計画の両方が得られます。また、SQLタブのspark WebUIからも確認できます。

5
Srini

Spark 1を使用している場合、次の方法でクエリの説明を取得できます。

sqlContext.sql("your SQL query").explain(true)

Spark 2を使用している場合、それは同じです：

spark.sql("your SQL query").explain(true)

同じロジックがデータフレームで使用できます。

yourDF.explain(true) or yourDF.someOperation.explain(true)

SomeOperationは、結合またはその他の選択である可能性があります。

3
joy jedidja Ndjama