Hadoopを使用して1つのサンプルWordカウントプログラムを実装しようとしています。 Hadoop 2.0.0
をダウンロードしてインストールしました。 Eclipseを使用してこのサンプルプログラムを実行したいのは、後で実際のプロジェクトでEclipseのみを使用する必要があると思うからです。
hadoop-core.jar
などのHadoop関連のjarファイルやその他の必要なjarファイルが見つかりません。 2.0 hadoopのすべてのフォルダーを検索しましたが、それらのファイルが見つかりませんでした。これらの同じファイルは、Hadoopのバージョン1.0では使用できますが、バージョン2.0では使用できません。これらのファイルはどこで入手できますか?
2.0バージョンに関する多くの情報を見つけることができません。
助けてください
実際、最初は似たような問題に直面しました。どうやら、hadoop-core.jar
バージョン2用。Hadoop Common および MapReduce Client Core jarをダウンロードし、両方を使用する必要があります。私はそれがあなたの問題を解決すると確信しています。お役に立てれば!
編集:リンクを更新して、リポジトリから適切なバージョンを選択できるようにしました。これは、初期バージョン2を過ぎてからです。
以下にリストされているフォルダーにJARを含めるとうまくいきました。
share\hadoop\common
share\hadoop\common\lib
share\hadoop\mapreduce
share\hadoop\mapreduce\lib
share\hadoop\yarn
share\hadoop\yarn\lib
hadoop-core-$ {HADOOP_VERSION} .jarは
${HADOOP_HOME}/share/hadoop/common
$ {HADOOP_HOME}ディレクトリではなく、ディレクトリ。
これは、Hadoop 2.6.0上のMacで機能します。
hadoop/2.6.0/libexec/share/hadoop/common/hadoop-common-2.6.0.jar
または単にhadoopディレクトリで「.jar」を検索すると、すべての.jarファイルが表示されます。
Jarファイルは https://mvnrepository.com websiteから取得できます。
例- https://mvnrepository.com/artifact/org.Apache.hadoop/hadoop-core/1.2.1
hadoop-core-{version}.jar
なりました hadoop-common-{version}.jar
Hadoop 2+で始まる
Hadoop 2.7.2では、HADOOP_COMMON_HOMEと同じに設定する必要がありました。