web-dev-qa-db-ja.com

yarn

YARNのコンテナとは何ですか?

Hadoop:ResourceManagerへの接続に失敗しました

YARN Resourcemanagerがnodemanagerに接続しない

Sparkの糸クライアントモードとは何ですか?

hadoop-namenodeで接続が拒否されました

コンテナがメモリ制限を超えて実行されています

HadoopはYARNアプリケーションのログをどこに保存しますか?

糸MapReduceジョブの問題-Hadoop 2.3.0でのAMコンテナー起動エラー

Spark YARNのログはどこにありますか?

Apache Hadoop YARNの「mapreduce.map.memory.mb」と「mapred.map.child.Java.opts」の関係は何ですか?

Apache Spark:コア数とエクゼキュータ数

Spark糸の概念の理解について

hadoopのネームサービスのアクティブなネームノードを取得するコマンドはありますか?

ローカルのHadoop 2.6インストールからS3 / S3nにアクセスするにはどうすればよいですか?

log4jを使用して、Spark YARNで実行されるアプリケーション内のローカルファイルシステムにログを記録する方法は?

ハイブによって開始されたマップされたジョブを強制終了する方法は?

Sparkにはどのクラスタータイプを選択する必要がありますか?

実行中の問題Spark=糸クラスター上のジョブ

なぜYARN Javaヒープスペースのメモリエラーですか?

Hadoopが「異常なNode local-dirsおよびlog-dirsは不良です」」と報告するのはなぜですか?

Spark実行中のアプリケーションを強制終了

Apache Spark:エグゼキューターインスタンスを設定してもエグゼキューターは変更されません

Apache Hadoop糸-コアの利用率が低い

Spark Amazon EMRに完全に割り当てられていないリソース

application_のアプリケーションレポート(状態:ACCEPTED)は、Spark Submit(with Spark 1.2.0 on YARN))で終わることはありません

YARNのアプリケーションマネージャーとアプリケーションマスターの違いは何ですか?

JVMがLinuxプロセスの常駐セットサイズより多くのコミットメモリを報告するのはなぜですか?

糸でジョブをストリーミングするspark)を開始/停止する正しい方法は何ですか?

すべてのクラスパスに設定ファイルを追加する方法Spark executors in Spark 1.2.0?

Spark YARNクライアントモードを使用しているときにエグゼキューターが失われるのを防ぐ方法は?

Sparkランチャーはジョブの完了を無限に待っています

ヤーンクライアントで(他のジョブと比較して)実行時間が長すぎるタスクに対処するにはどうすればよいですか?

スタンドアロンマネージャー対。糸対Mesos

Spark executorがメモリの制限により失われ、ヤーンコンテナーがkillするのを防ぐ方法は?

YARNのログファイルを保持する方法

Spark:複数のspark-並行して送信

大規模なデータセットでsparkを実行中に「sparkContextがシャットダウンされました」

vcoreがYARNのSpark)のノード数と常に等しいのはなぜですか?

YARNのジョブの総リソース割り当て

EMRのYarnがすべてのノードを実行中のSparkジョブに割り当てないのはなぜですか?

/ bin / bash:/ bin / Java:そのようなファイルやディレクトリはありません

Spark + Amazonの "maximizeResourceAllocation"設定を使用したEMRは、すべてのコア/ vcoresを使用するわけではありません

minReplication(= 1)ではなく0ノードにのみ複製できました。実行中のデータノードは4つあり、この操作で除外されるノードはありません

クラスターからのHADOOP_CONF_DIRの値

MapReduceジョブがハングし、AMコンテナが割り当てられるのを待機しています

SparkアプリケーションをScalaのYARNにデプロイするためのapplicationIdを取得するにはどうすればよいですか?

ビッグデータセットを処理するときのFetchFailedExceptionまたはMetadataFetchFailedException

AWS EMRでyarnを再起動する方法

Sparkジョブが「終了コード:52」で失敗するのはなぜですか?

Sparkは、YarnクラスターexitCode = 13で実行されます:

どのJavaバージョンをspark-submitコマンドで使用するように指定するのですか?

提出後にspark-submitを終了する方法

yarnクライアントモードのリモートマスターノードでspark=ジョブを送信する方法は?

Spark糸モードの場合、「終了ステータス:-100。診断:*失われた*ノードでリリースされたコンテナ」で終了します "

Spark YARNリソースマネージャー:YARNコンテナーとSpark Executors

Sparkジョブ失敗の再試行回数を制限する方法は?

YARNクライアントモードでspark-Shellを使用したClosedChannelExceptionの理由を知る方法

Spark YARNアカウントでPythonメモリ使用量を実行するにはどうすればよいですか?

動的リソース割り当てを使用してSparkプログラムを実行する方法は?

Spark別のユーザーとしてyarnに送信する

spark yarn、コンテナはゼロ以外の終了コード143で終了しました

SparkヤーンクラスタVSクライアント-使用するものを選択する方法は?

糸にspark-submitの--archivesオプションを使用してZipファイルをアップロードする

Hadoopの切り捨てられた/一貫性のないカウンター名

ロギングを有効にしても、糸アプリケーションにログがないのはなぜですか?

スパークのヤーンコンテナのサイズの問題を解決するにはどうすればよいですか?

Apache Spark Sparkを実行しています-YARNエラーでシェル

org.Apache.spark.rpc.RpcTimeoutException:[120秒]後に先物がタイムアウトしました。このタイムアウトはspark.rpc.lookupTimeoutによって制御されます

`yarn.scheduler.maximum-allocation-mb`と` yarn.nodemanager.resource.memory-mb`の違いは?

EMR Spark-TransportClient:RPCの送信に失敗しました

Spark / Yarn:ファイルがHDFSに存在しません

例外:Java.lang.Exception:マスター 'yarn'で実行する場合、HADOOP_CONF_DIRまたはYARN_CONF_DIRのいずれかを環境で設定する必要があります。 spark

Spark Shell with Yarn-エラー:Yarnアプリケーションはすでに終了しています!強制終了されたか、アプリケーションマスターを起動できない可能性があります

終了コードと終了ステータスは、火花のようなものですか?

--pysparkのファイルオプションが機能しない

Spark:プログラムでクラスターコアの数を取得する

Sparkジョブが大きなデータでハングする

PySparkでのYARNキューの設定

なぜspark.yarn.executor.memoryOverheadを増やすのですか?

糸のワークスペースを含むモノレポでnodejsプロジェクトからDockerイメージを構築する方法

Sparkドライバーメモリとアプリケーションマスターメモリ

ルートワークスペースのpackage.jsonに依存関係を追加すると、yarnが警告するのはなぜですか

Spark失敗:原因:org.Apache.spark.shuffle.FetchFailedException:大きすぎるフレーム:5454002341

Apache Hadoop YarnとKubernetes

LernaをYarnワークスペースで使用することに利点はありますか?

2 EMRを実行する方法Sparkステップを同時に実行しますか?

yarn.lockファイル内の整合性プロパティとは何ですか?

ワークスペースがまだ巻き上げられているnohoist

糸で単一のワークスペースをターゲットにする方法は?

TypeScriptとoutフォルダーで糸のワークスペースを使用する方法

ReactJSのビルド、割り当てに失敗しました - JavaScriptヒープをメモリから

糸v2 gitignore

ヤーンの追加エラーが表示されているプロジェクトに追加するパッケージのリストが見つかりません