web-dev-qa-db-ja.com

HadoopはYARNアプリケーションのログをどこに保存しますか?

Hortonworks ' yarn application example の基本的な例を実行します。アプリケーションが失敗したので、ログを読んで理由を調べたいです。しかし、予想される場所にファイルが見つかりません(/HADOOP_INSTALL_FOLDER/logs)mapreduceジョブのログが保存される場所。

Yarnが非mapreduceログファイルを保存する場所を誰か知っていますか? xmlファイルに特別なディレクトリを構成する必要がありますか?

13
padmalcom

コンテナログは yarn.nodemanager.log-dirs

コンテナログを保存する場所。アプリケーションのローカライズされたログディレクトリは、${yarn.nodemanager.log-dirs}/application_${appid}。個々のコンテナのログディレクトリは、container_{$contid}。各コンテナディレクトリには、そのコンテナによって生成されたstderr、stdin、およびsyslogファイルが含まれます。

21
Remus Rusanu

ログの集約はYARNで実装されているため、Hadoop 1と比較するとログファイルの場所が異なります。

WebUiとコマンドラインアクセスの2つの方法で、アプリケーションのログを取得できます。

YARNでのこのログ集約の実装に関する非常に明確な情報を提供する以下のドキュメントをご覧ください。

http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/

ブログの作者であるVinod Kumar Vavilapalliに感謝します。

6
Kiran G