web-dev-qa-db-ja.com

外部パラメータを渡す方法Spark submit

私のアプリケーションでは、データベースに接続する必要があるため、アプリケーションの送信時にIPアドレスとデータベース名を渡す必要があります。

私は次のように申請書を提出します::

./spark-submit --class class name --master spark://localhost:7077 \
--deploy-mode client /home/hadoop/myjar.jar
javaapache-sparkspark-submit
9
Satish Karuturi

チェックすると 公式ドキュメント あなたはそれを見るでしょうspark-submitの構文は次のとおりです。

./bin/spark-submit \
  --class <main-class>
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

どちらかを使用できますapplication-argumentsとconfは、必要な構成をそれぞれmainメソッドとSparkConfに渡します。

11
zero323

Zero323で述べられているように、spark-submitコマンドを リンク から使用できます。

  ./bin/spark-submit \
  --class <main-class>
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

ここで、confは、アプリケーションが特定のプロパティのように実行されるために必要なSpark関連の構成を渡すために使用されます（エグゼキュータメモリ）またはSpark-default.confで設定されているデフォルトのプロパティを上書きする場合。

ユースケースに関する限り、データベースに接続するためにアプリケーションにIPを渡したい場合は、[application-arguments]を使用できます。 JARの後に渡されます。

メインを次のように設定する場合：

def main(args: Array[String])

次に、.jar行の後に指定された引数として何でも受け入れることができます。

参照してください 詳細については

2
Ajit K'sagar