web-dev-qa-db-ja.com

Spark Shell with Yarn-エラー：Yarnアプリケーションはすでに終了しています！強制終了されたか、アプリケーションマスターを起動できない可能性があります

this の質問のフォローアップとして、Spark 2.1.1 over Yarn（Hadoop 2.8.0）onを使用しようとすると、新しいエラーが発生します私のシングルノードマシン。Spark Shellwith

spark-Shell

問題なく起動します。通常のstart-dfs.shとstart-yarn.shでHadoopを開始した後、

spark-Shell --master yarn

次のエラーが発生します。

17/06/10 12:00:07 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
17/06/10 12:00:12 ERROR SparkContext: Error initializing SparkContext.
org.Apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.
    at org.Apache.spark.scheduler.cluster.YarnClientSchedulerBackend.waitForApplication(YarnClientSchedulerBackend.scala:85)
    at org.Apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:62)
    at org.Apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:156)
    at org.Apache.spark.SparkContext.<init>(SparkContext.scala:509)
    at org.Apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2320)
    at org.Apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868)
    at org.Apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860)
    at scala.Option.getOrElse(Option.scala:121)
    at org.Apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:860)
    at org.Apache.spark.repl.Main$.createSparkSession(Main.scala:96)
    at $line3.$read$$iw$$iw.<init>(<console>:15)
    at $line3.$read$$iw.<init>(<console>:42)
    at $line3.$read.<init>(<console>:44)
    at $line3.$read$.<init>(<console>:48)
    at $line3.$read$.<clinit>(<console>)
    at $line3.$eval$.$print$lzycompute(<console>:7)
    at $line3.$eval$.$print(<console>:6)
    at $line3.$eval.$print(<console>)
    at Sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at Sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.Java:62)
    at Sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.Java:43)
    at Java.lang.reflect.Method.invoke(Method.Java:497)
    at scala.tools.nsc.interpreter.IMain$ReadEvalPrint.call(IMain.scala:786)
    at scala.tools.nsc.interpreter.IMain$Request.loadAndRun(IMain.scala:1047)
    at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:638)
    at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:637)
    at scala.reflect.internal.util.ScalaClassLoader$class.asContext(ScalaClassLoader.scala:31)
    at scala.reflect.internal.util.AbstractFileClassLoader.asContext(AbstractFileClassLoader.scala:19)
    at scala.tools.nsc.interpreter.IMain$WrappedRequest.loadAndRunReq(IMain.scala:637)
    at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:569)
    at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:565)
    at scala.tools.nsc.interpreter.ILoop.interpretStartingWith(ILoop.scala:807)
    at scala.tools.nsc.interpreter.ILoop.command(ILoop.scala:681)
    at scala.tools.nsc.interpreter.ILoop.processLine(ILoop.scala:395)
    at org.Apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply$mcV$sp(SparkILoop.scala:38)
    at org.Apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply(SparkILoop.scala:37)
    at org.Apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply(SparkILoop.scala:37)
    at scala.tools.nsc.interpreter.IMain.beQuietDuring(IMain.scala:214)
    at org.Apache.spark.repl.SparkILoop.initializeSpark(SparkILoop.scala:37)
    at org.Apache.spark.repl.SparkILoop.loadFiles(SparkILoop.scala:105)
    at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply$mcZ$sp(ILoop.scala:920)
    at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply(ILoop.scala:909)
    at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply(ILoop.scala:909)
    at scala.reflect.internal.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:97)
    at scala.tools.nsc.interpreter.ILoop.process(ILoop.scala:909)
    at org.Apache.spark.repl.Main$.doMain(Main.scala:69)
    at org.Apache.spark.repl.Main$.main(Main.scala:52)
    at org.Apache.spark.repl.Main.main(Main.scala)
    at Sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at Sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.Java:62)
    at Sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.Java:43)
    at Java.lang.reflect.Method.invoke(Method.Java:497)
    at org.Apache.spark.deploy.SparkSubmit$.org$Apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:743)
    at org.Apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
    at org.Apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
    at org.Apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
    at org.Apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
17/06/10 12:00:12 WARN YarnSchedulerBackend$YarnSchedulerEndpoint: Attempted to request executors before the AM has registered!
17/06/10 12:00:12 WARN MetricsSystem: Stopping a MetricsSystem that is not running

私はSpark/Yarnを初めて使用するので、どこで解決策を探すべきか本当にわかりません。提案されていることを試しました ここ （Java 8）を使用しているので、同様の問題のように見えますが、効果はありませんでした。 Java 7（Java_HOME変数をJDK7インストールフォルダーに設定）を使用しようとしましたが、それでも同じエラーが発生します。何かアイデアはありますか？

hadoopapache-sparkyarn
4
Alessandro

Liming Cenの回答で説明されているのとほぼ同じ方法を使用して問題を解決することができました この同様の質問 。

唯一の違いは、$SPARK_HOME/libexec/jarsに含まれているJARをZipファイルに圧縮してHDFSallに追加したことです。

次に、$SPARK_HOME/libexec/conf/spark-defaults.confに次の行を追加しました。

spark.yarn.archive=hdfs:///user/MY_USERNAME/spark-archive.Zip

3
Alessandro

これは、Java 1.8がすべてのYARNノードに対して適切にインストール/構成されていないという事実が原因である可能性があります... Clouderaを使用している場合は、プロパティ「Javaホーム」を確認する必要があります。 「ディレクトリ」は、特定のホストの「構成」タブ内のすべてのホストに対して適切に構成されています（例：/usr/lib/jvm/jdk1.8.0_144）

0
michal_k