web-dev-qa-db-ja.com

エラーyarn.ApplicationMaster：キャッチされない例外：Java.util.concurrent.TimeoutException：100000ミリ秒後に先物がタイムアウトしました

私のsparkアプリケーションでこの問題が発生し、1.6 spark version、scala 2.10を使用します。

17/10/23 14:32:15 ERROR yarn.ApplicationMaster: Uncaught exception: 
Java.util.concurrent.TimeoutException: Futures timed out after [100000
milliseconds]at
scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219)
at
scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223)
at scala.concurrent.Await$$anonfun$result$1.apply(package.scala:107)
at
scala.concurrent.BlockContext$DefaultBlockContext$.blockOn(BlockContext.scala:53)
at scala.concurrent.Await$.result(package.scala:107) at
org.Apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala:342)
at
org.Apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:197)
at
org.Apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:680)
at
org.Apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:69)
at
org.Apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:68)
at Java.security.AccessController.doPrivileged(Native Method) at
javax.security.auth.Subject.doAs(Subject.Java:422) at
org.Apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.Java:1917)
at
org.Apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:68)
at
org.Apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:678)
at
org.Apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)
17/10/23 14:32:15 INFO yarn.ApplicationMaster: Final app status:
FAILED, exitCode: 10, (reason: Uncaught exception:
Java.util.concurrent.TimeoutException: Futures timed out after [100000
milliseconds]) 17/10/23 14:32:15 INFO spark.SparkContext: Invoking
stop() from shutdown hook 17/10/23 14:32:15 INFO ui.SparkUI: Stopped
Spark web UI at http://180.21.232.30:43576 17/10/23 14:32:15 INFO
scheduler.DAGScheduler: ShuffleMapStage 27 (show at Linkage.scala:282)
failed in 24.519 s due to Stage cancelled because SparkContext was
shut down 17/10/23 14:32:15 arkListenerJobEnd (18,1508761935656,JobFailed (org.Apache.spark.SparkException:Job 18 cancelled because SparkContext was shut down)) 17/10/23 14:32:15 INFO spark.MapOutputTrackerMasterEndpoint:
MapOutputTrackerMasterEndpoint stopped! 17/10/23 14:32:15 INFO
storage.MemoryStore: MemoryStore cleared 17/10/23 14:32:15 INFO
storage.BlockManager: BlockManager stopped 17/10/23 14:32:15 INFO
storage.BlockManagerMaster: BlockManagerMaster stopped 17/10/23
14:32:15 INFO remote.RemoteActorRefProvider$RemotingTerminator:
Shutting down remote daemon.
17/10/23 14:32:15 INFO util.ShutdownHookManager: Shutdown hook
calledBlockquote

私はこの問題の記事を読み、結果なしで次のパラメーターを変更しようとしました--conf spark.yarn.am.waitTime = 6000s

--conf spark.sql.broadcastTimeout = 6000

--conf spark.network.timeout = 600

最高のレガーズ

apache-sparkakkaapache-spark-sql
9
BiCCThor

SparkはデフォルトでEMRのYARNクラスターマネージャーを使用するため、コードからsetMaster（ ’local’）を削除してください。

15
Sunil Dias

sparkジョブを_yarn client/cluster_で実行しようとしている場合。コードからmaster構成を削除することを忘れないでください.master("local[n]")。

spark糸のジョブを送信するには、_--master yarn --deploy-mode cluster/client_を渡す必要があります。

masterをlocalとして設定すると、タイムアウトの例外が繰り返し発生していました。

8
ketankk