Sparkバージョンの確認方法

Question

Cdh 5.7.0のsparkバージョンを確認したい。インターネットで検索しましたが、理解できません。助けてください。

ありがとう

Answer 1

@Binary Nerdへの追加

Sparkを使用している場合は、次を使用してSparkバージョンを取得します。

spark-submit --version

または

Cloudera Managerにログインして、[ホスト]ページに移動し、inspect hosts in clusterを実行します

Answer 2

次のコマンドを使用して、sparkバージョンを取得できます。

spark-submit --version

spark-Shell --version

spark-sql --version

以下のサイトにアクセスして、CDH 5.7.0で使用されているスパークバージョンを知ることができます。

http://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_new_in_cdh_57.html#concept_m3k_rxh_1v

Answer 3

Clouderaのドキュメントによると、 CDH 5.7.0の新機能 これには Spark 1.6. が含まれます。