web-dev-qa-db-ja.com

Sparkを起動できません

私はこれに従いました answer 。このエラーが発生しています：

spark-class：行86：/ usr/lib/jvm/Java-8-Oracle/bin/Java：そのようなファイルまたはディレクトリはありません

そして驚いたことに、私は以下を持っています：

gsamaras@gsamaras:/usr/lib/jvm$ ls
Java-1.7.0-openjdk-AMD64  Java-7-openjdk-AMD64
gsamaras@gsamaras:/usr/lib/jvm$ $Java_HOME
bash: /usr/lib/jvm/Java-8-Oracle: No such file or directory

修正方法は？

詳細情報（ here から）：

gsamaras@gsamaras:~$ which Java
/usr/bin/Java
gsamaras@gsamaras:~$ ls -alh /usr/bin/Java
lrwxrwxrwx 1 root root 22 Feb 10 00:54 /usr/bin/Java -> /etc/alternatives/Java
gsamaras@gsamaras:~$ ls -alh /etc/alternatives/Java
lrwxrwxrwx 1 root root 46 Feb 10 00:54 /etc/alternatives/Java -> /usr/lib/jvm/Java-7-openjdk-AMD64/jre/bin/Java

~/.profileに以下を追加しました：

export Java_HOME=/usr/lib/jvm/Java-7-openjdk-AMD64
export PATH=${Java_HOME}/bin:${PATH}
export HADOOP_CLASSPATH=${Java_HOME}/lib/tools.jar

Hadoopエクスペリエンス から。ソースを取得したときに、Sparkを起動できました。

編集：

gsamaras@gsamaras:~/spark-1.6.0-bin-hadoop2.6/conf$ ls
docker.properties.template  metrics.properties.template   spark-env.sh.template
fairscheduler.xml.template  slaves.template
14.04javaenvironment-variablesopenjdkjdk
3
gsamaras

SparkがJava 7で動作するかどうかはわかりませんが、そうでない場合はJava 8をインストールするのが明らかです。

Sudo add-apt-repository ppa:webupd8team/Java
Sudo apt-get update
Sudo apt-get install Oracle-Java8-installer

正しい箇所で「はい」と答えると、デフォルトでJava 8になります。

Sudo update-Java-alternatives -s Java-8-Oracle

トリックを行います。

更新：OpenJDK 7で実行したい場合、Java_HOMEが間違って設定されている場所を見つけなければならない

gsamaras@gsamaras:/usr/lib/jvm$ $Java_HOME
bash: /usr/lib/jvm/Java-8-Oracle: No such file or directory

.profile（hash -rまたは再ログインしましたか？）でそれを修正しようとするので、load-spark-env.shまたはSparkを起動する前に実行される他のスクリプトを確認する必要があります。正しい。

乾杯、

3
Anders R. Bystrup

フォルダー内のspark-env.shファイルを見つけて、そこに指定されているJava_HOMEを確認してください。 etc/environmentで指定された場所は、両方のファイルで同じでなければなりません

0
TechNoob