Hadoop:ResourceManagerへの接続に失敗しました
YARN Resourcemanagerがnodemanagerに接続しない
HadoopはYARNアプリケーションのログをどこに保存しますか?
糸MapReduceジョブの問題-Hadoop 2.3.0でのAMコンテナー起動エラー
Apache Hadoop YARNの「mapreduce.map.memory.mb」と「mapred.map.child.Java.opts」の関係は何ですか?
hadoopのネームサービスのアクティブなネームノードを取得するコマンドはありますか?
ローカルのHadoop 2.6インストールからS3 / S3nにアクセスするにはどうすればよいですか?
log4jを使用して、Spark YARNで実行されるアプリケーション内のローカルファイルシステムにログを記録する方法は?
ハイブによって開始されたマップされたジョブを強制終了する方法は?
Sparkにはどのクラスタータイプを選択する必要がありますか?
Hadoopが「異常なNode local-dirsおよびlog-dirsは不良です」」と報告するのはなぜですか?
Apache Spark:エグゼキューターインスタンスを設定してもエグゼキューターは変更されません
Spark Amazon EMRに完全に割り当てられていないリソース
application_のアプリケーションレポート(状態:ACCEPTED)は、Spark Submit(with Spark 1.2.0 on YARN))で終わることはありません
YARNのアプリケーションマネージャーとアプリケーションマスターの違いは何ですか?
JVMがLinuxプロセスの常駐セットサイズより多くのコミットメモリを報告するのはなぜですか?
糸でジョブをストリーミングするspark)を開始/停止する正しい方法は何ですか?
すべてのクラスパスに設定ファイルを追加する方法Spark executors in Spark 1.2.0?
Spark YARNクライアントモードを使用しているときにエグゼキューターが失われるのを防ぐ方法は?
ヤーンクライアントで(他のジョブと比較して)実行時間が長すぎるタスクに対処するにはどうすればよいですか?
Spark executorがメモリの制限により失われ、ヤーンコンテナーがkillするのを防ぐ方法は?
大規模なデータセットでsparkを実行中に「sparkContextがシャットダウンされました」
vcoreがYARNのSpark)のノード数と常に等しいのはなぜですか?
EMRのYarnがすべてのノードを実行中のSparkジョブに割り当てないのはなぜですか?
/ bin / bash:/ bin / Java:そのようなファイルやディレクトリはありません
Spark + Amazonの "maximizeResourceAllocation"設定を使用したEMRは、すべてのコア/ vcoresを使用するわけではありません
minReplication(= 1)ではなく0ノードにのみ複製できました。実行中のデータノードは4つあり、この操作で除外されるノードはありません
MapReduceジョブがハングし、AMコンテナが割り当てられるのを待機しています
SparkアプリケーションをScalaのYARNにデプロイするためのapplicationIdを取得するにはどうすればよいですか?
ビッグデータセットを処理するときのFetchFailedExceptionまたはMetadataFetchFailedException
Sparkジョブが「終了コード:52」で失敗するのはなぜですか?
Sparkは、YarnクラスターexitCode = 13で実行されます:
どのJavaバージョンをspark-submitコマンドで使用するように指定するのですか?
yarnクライアントモードのリモートマスターノードでspark=ジョブを送信する方法は?
Spark糸モードの場合、「終了ステータス:-100。診断:*失われた*ノードでリリースされたコンテナ」で終了します "
Spark YARNリソースマネージャー:YARNコンテナーとSpark Executors
YARNクライアントモードでspark-Shellを使用したClosedChannelExceptionの理由を知る方法
Spark YARNアカウントでPythonメモリ使用量を実行するにはどうすればよいですか?
動的リソース割り当てを使用してSparkプログラムを実行する方法は?
spark yarn、コンテナはゼロ以外の終了コード143で終了しました
SparkヤーンクラスタVSクライアント-使用するものを選択する方法は?
糸にspark-submitの--archivesオプションを使用してZipファイルをアップロードする
ロギングを有効にしても、糸アプリケーションにログがないのはなぜですか?
スパークのヤーンコンテナのサイズの問題を解決するにはどうすればよいですか?
Apache Spark Sparkを実行しています-YARNエラーでシェル
`yarn.scheduler.maximum-allocation-mb`と` yarn.nodemanager.resource.memory-mb`の違いは?
EMR Spark-TransportClient:RPCの送信に失敗しました
例外:Java.lang.Exception:マスター 'yarn'で実行する場合、HADOOP_CONF_DIRまたはYARN_CONF_DIRのいずれかを環境で設定する必要があります。 spark
Spark Shell with Yarn-エラー:Yarnアプリケーションはすでに終了しています!強制終了されたか、アプリケーションマスターを起動できない可能性があります
なぜspark.yarn.executor.memoryOverheadを増やすのですか?
糸のワークスペースを含むモノレポでnodejsプロジェクトからDockerイメージを構築する方法
ルートワークスペースのpackage.jsonに依存関係を追加すると、yarnが警告するのはなぜですか
Spark失敗:原因:org.Apache.spark.shuffle.FetchFailedException:大きすぎるフレーム:5454002341
LernaをYarnワークスペースで使用することに利点はありますか?
2 EMRを実行する方法Sparkステップを同時に実行しますか?
yarn.lockファイル内の整合性プロパティとは何ですか?
TypeScriptとoutフォルダーで糸のワークスペースを使用する方法