web-dev-qa-db-ja.com

docker-sparkでのHadoop「プラットフォームのnative-hadoopライブラリをロードできません」エラー

docker-spark を使用しています。 spark-Shellを開始した後、次を出力します。

15/05/21 04:28:22 DEBUG NativeCodeLoader: Failed to load native-hadoop with error: Java.lang.UnsatisfiedLinkError:no hadoop in Java.library.path
15/05/21 04:28:22 DEBUG NativeCodeLoader: Java.library.path=/usr/Java/packages/lib/AMD64:/usr/lib64:/lib64:/lib:/usr/lib

このspark containerの環境変数は次のとおりです。

bash-4.1# export
declare -x BOOTSTRAP="/etc/bootstrap.sh"
declare -x HADOOP_COMMON_HOME="/usr/local/hadoop"
declare -x HADOOP_CONF_DIR="/usr/local/hadoop/etc/hadoop"
declare -x HADOOP_HDFS_HOME="/usr/local/hadoop"
declare -x HADOOP_MAPRED_HOME="/usr/local/hadoop"
declare -x HADOOP_PREFIX="/usr/local/hadoop"
declare -x HADOOP_YARN_HOME="/usr/local/hadoop"
declare -x HOME="/"
declare -x HOSTNAME="sandbox"
declare -x Java_HOME="/usr/Java/default"
declare -x OLDPWD
declare -x PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/Java/default/bin:/usr/local/spark/bin:/usr/local/hadoop/bin"
declare -x PWD="/"
declare -x SHLVL="3"
declare -x SPARK_HOME="/usr/local/spark"
declare -x SPARK_JAR="hdfs:///spark/spark-Assembly-1.3.0-hadoop2.4.0.jar"
declare -x TERM="xterm"
declare -x YARN_CONF_DIR="/usr/local/hadoop/etc/hadoop"

Hadoop「CentOSでプラットフォームのnative-hadoopライブラリをロードできません」エラー を参照した後、次のことを行いました。

（1）hadoopライブラリを確認します。

bash-4.1# file /usr/local/hadoop/lib/native/libhadoop.so.1.1.0
/usr/local/hadoop/lib/native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped

はい、64-bitライブラリです。

（2）HADOOP_OPTS環境変数を追加してみてください：

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/native"

動作せず、同じエラーを報告します。

（3）HADOOP_OPTSおよびHADOOP_COMMON_LIB_NATIVE_DIR環境変数を追加してみてください。

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

それでも動作せず、同じエラーを報告します。

誰も問題についていくつかの手がかりを与えることができますか？

hadoopapache-sparkdocker
15
Nan Xiao

HadoopライブラリーをLD_LIBRARY_PATHに追加すると、この問題が修正されます。

export LD_LIBRARY_PATH="$HADOOP_HOME/lib/native/:$LD_LIBRARY_PATH"
35
Nan Xiao