web-dev-qa-db-ja.com

クラスターからのHADOOP_CONF_DIRの値

3つのVMをホストとしてAmbariを使用してクラスター（YARN）をセットアップしました。

HADOOP_CONF_DIRの値はどこにありますか？

# Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit \
  --class org.Apache.spark.examples.SparkPi \
  --master yarn-cluster \  # can also be `yarn-client` for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000
apache-sparkyarn
6
nish1013

Hadoopもインストールします。私の場合、/ usr/local/hadoopにインストールしました

Hadoop環境変数のセットアップ

export HADOOP_INSTALL=/usr/local/hadoop

次に、confディレクトリを設定します

export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop
9
Saurabh

/etc/spark/conf/spark-env.shから：

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/etc/hadoop/conf}
3
Atul Soman