web-dev-qa-db-ja.com

Hadoop 2.2.0のHDFSの構成ファイルはどこにありますか？

私はHadoopを勉強していますが、現在、Hadoop 2.2.0シングルノードをセットアップしようとしています。最新のディストリビューションをダウンロードして解凍しました。今、Hadoop Distributed File System（HDFS）をセットアップしようとしています。

今、私は利用可能なHadoopの指示に従うことを試みています ここ ですが、私はかなり迷っています。

左のバーには、次のファイルへの参照があります。

  • core-default.xml
  • hdfs-default.xml
  • mapred-default.xml
  • yarn-default.xml

しかし、それらのファイルはどうですか？

/etc/hadoop/hdfs-site.xmlを見つけましたが、空です！

/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xmlを見つけましたが、これはほんの一部です！

それでは、HDFSを構成するためにどのファイルを変更する必要がありますか？デフォルト値はどこから読み取られますか？

よろしくお願いします。

hadoopconfigurationhdfsconfiguration-files
14
danidemi

これらのファイルはすべてhadoop/confディレクトリにあります。

HDFSを設定するには、core-site.xmlおよびhdfs-site.xmlを構成する必要があります。

HDFSは、分散（マルチノードクラスター）と擬似分散（1台のマシンのクラスター）の2つのモードで動作します。

疑似分散モードでは、次を構成する必要があります。

Core-site.xmlで：

<!-- namenode -->
<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:8020</value>
</property>

Hdfs-site.xmlで：

<-- storage directories for HDFS - the hadoop.tmp.dir property, whose default is /tmp/hadoop-${user.name} -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/your-dir/</value>
</property>

各プロパティには、ハードコーディングされたデフォルト値があります。

HDFSを起動する前に、Hadoopユーザーのsshパスワードなしログインを設定することを忘れないでください。

追伸.

ApacheからHadoopをダウンロードした場合、Hadoopディストリビューションへの切り替えを検討できます。

ClouderaのCDH 、HortonWorksまたはMapR。

Cloudera CDHまたはHortonworks HDPをインストールすると、/ etc/hadoop/conf /にファイルが見つかります。

17
Evgeny Benediktov

Hadoop 2.2.0をインストールする場合 このリンク に従います。 「0.23.9」用ですが、「2.2.0」ではまったく問題なく動作します

5
Rushikesh Garadade

すべての構成ファイルは、etc/hadoop /ディレクトリー内の抽出されたtar.gzファイルにあります。 hdfs-site.xmlはhdfs-site.xml.templateである場合があります。名前をhdfs-site.xmlに変更する必要があります。

Hdfsのオプションを確認するには、share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlのtarballのドキュメントを確認してください。

4
Chris Hinshaw

Hortonworksロケーションの場合

/etc/hadoop/conf/hdfs-site.xml
2
Indrajeet Gour

これらのファイルは、/ usr/lib/hadoop-2.2.0/etc/hadoopにあります。その場所で、すべてのXMLを見つけることができます。

0
Batty