web-dev-qa-db-ja.com

ApplicationMaster終了コードによって強制終了されたコンテナは143です。

いくつかのケースで次のエラーが発生しています。

2017-03-23 11:55:10,794 INFO [AsyncDispatcher event handler] org.Apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: Diagnostics report from attempt_1490079327128_0048_r_000003_0: Container killed by the ApplicationMaster.

Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

私はそれが1つの大きな種類で発生することに気づきましたが、「ソート割り当てメモリ」を変更しても役に立ちません。

他のメモリプロパティを変更しようとしましたが、それでも解決策はわかりません。 Mapreduceがどのように機能するか、および異なるコンポーネント間の相互作用についての適切な説明はありますか？何を変更すればよいですか？これにつながるJavaエラーはどこにありますか？

hadoophivemapreducehadoop2
7
Yuval

終了コード143は、メモリー/ GCの問題に関連しています。デフォルトのマッパー/リデューサーメモリ設定は、大きなデータセットを実行するのに十分でない場合があります。したがって、大きなヤーンジョブが呼び出された場合は、より高いAM、MAP、およびREDUCERメモリを設定してみてください。

このリンクをチェックしてください： https://community.hortonworks.com/questions/96183/help-troubleshoot-container-killed-by-the-applicat.html

調べてください： https://www.slideshare.net/SparkSummit/top-5-mistakes-when-writing-spark-applications-63071421

コードを最適化するための優れたソース。

3
Deepesh Rehi

私は2つの別々のものを混同していることに気づきました。 143終了コードは、ダウンしているメトリックコレクターからのものです。私が理解している限り、メモリの問題がないため、ジョブは強制終了されます。問題は、すべてのデータを含む最後の関数までデータを減らすことができない大きなウィンドウ関数にあります。

それが仕事が殺された理由を与えるログの場所は、それでも私にはわかりません。

0
Yuval