web-dev-qa-db-ja.com

YARNのアプリケーションマネージャーとアプリケーションマスターの違いは何ですか?

MRv1の仕組みを理解しました。MRv2を理解しようとしています。YARNのアプリケーションマネージャーとアプリケーションマスターの違いは何ですか?

14
hadooper

多くの場合、アプリケーションマスターとアプリケーションマネージャーは同じ意味で使用されます。実際には、Application Masterは、アプリケーション固有のリソースを要求、起動、監視するメインコンテナーですが、Application ManagerはResourceManager内のコンポーネントです。 Application Managerの詳細については、以下をご覧ください。

ApplicationsManagerは、送信されたアプリケーションのコレクションを維持する責任があります。アプリケーションの送信後、最初にアプリケーションの仕様を検証し、そのApplicationMasterに対して満足できないリソースを要求するアプリケーションをすべて拒否します(つまり、ApplicationMaster自体を実行するのに十分なリソースを持つクラスターにノードがありません)。次に、同じアプリケーションIDで他のアプリケーションが送信されていないことを確認します。これは、誤ったクライアントまたは悪意のあるクライアントが原因である可能性があるシナリオです。最後に、許可されたアプリケーションをスケジューラに転送します。また、このコンポーネントは、ResourceManagerのメモリから完全に退避される前に、完成したアプリケーションをしばらくの間記録および管理する役割も果たします。アプリケーションが完了すると、デーモンのログファイルにApplicationSummaryが配置されます。最後に、ApplicationsManagerは、アプリケーションが完了した後も、ユーザーのアプリケーションデータに対するリクエストをサポートするために、完了したアプリケーションのキャッシュを保持します(Web UIまたはコマンドラインを介して)。設定プロパティyarn.resourcemanager.max-completed-applicationsは、ResourceManagerがいつでも記憶するそのような完成したアプリケーションの最大数を制御します。キャッシュは先入れ先出しのリストであり、最も新しく作成されたアプリケーションに対応するために最も古いアプリケーションが移動されます。

enter image description here

参考:Hadoop YARNブック

25
Hamza Zafar