web-dev-qa-db-ja.com

Hadoop：ResourceManagerへの接続に失敗しました

Hadoop 2.2をインストールしてパイプを起動しようとすると、例iveは次のエラーを受け取りました（起動しようとすると同じエラーが表示されますhadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount someFile.txt /out）：

/usr/local/hadoop$ hadoop pipes -Dhadoop.pipes.Java.recordreader=true -Dhadoop.pipes.Java.recordwriter=true -input someFile.txt -output /out -program bin/wordcount
DEPRECATED: Use of this script to execute mapred command is deprecated.
Instead use the mapred command for it.

13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/12/14 20:12:07 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:08 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:09 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:10 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:11 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:12 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:13 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:14 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

私のyarn-site.xml：

<configuration>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.Apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>

core-site.xml：

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

mapred-site.xml：

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>

hdfs-site.xml：

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/home/hduser/mydata/hdfs/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/home/hduser/mydata/hdfs/datanode</value>
</property>
</configuration>

私は、IPv6が本来のように無効になっていることを理解しました。/etc/hostsが正しくないのでしょうか？

/ etc/hosts：

fe00::0         ip6-localnet
ff00::0         ip6-mcastprefix
ff02::1         ip6-allnodes
ff02::2         ip6-allrouters

127.0.0.1 localhost.localdomain localhost hduser
# Auto-generated hostname. Please do not remove this comment.
79.98.30.76 356114.s.dedikuoti.lt  356114
::1             localhost ip6-localhost ip6-loopback
hadoopyarn
28
user3102852

リソースマネージャーの接続に関する問題は、iveveがyarn-site.xmlにいくつかのプロパティを追加する必要があるためです。

<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>

それでも、私のジョブは実行されていませんが、接続は現在成功しています

23
user3102852

Yarnを開始したことを確認してください。次のコマンドを使用して起動します。

start-yarn.sh

次に、このコマンドを使用して、リソースマネージャーが実行されていることを確認します。

jps

出力は次のようになります。

17542 NameNode

17920 SecondaryNameNode

22064 Jps

17703 DataNode

18226 ResourceManager

18363 NodeManager

11
Nadine

適切な方法は、yarn-site.xmlに次の行を追加することです。

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>127.0.0.1</value>
</property>

値フィールドHostは、すべての設定yarn.resourcemanager *リソースをアドレス指定します。 ResourceManagerコンポーネントのデフォルトポートになります。

Apache Hadoop 2.7.1-ResourceManagerの設定

  • パラメーター：yarn.resourcemanager.hostname
  • 値：ResourceManagerホスト。
  • 注：Hostすべてのyarn.resourcemanager * addressリソースを設定する代わりに設定できる単一のホスト名。 ResourceManagerコンポーネントのデフォルトポートになります。
3
Mincong Huang

私は同じ問題に直面していました。解決しました。

ResourceManagerへの接続に問題があるため、Yarnが実行されているかどうかを確認してください。糸はさまざまなエンティティに分割されます。それらの1つは、クラスターで実行されているさまざまなアプリケーションにリソースを割り当てるResourceManagerです。

次の手順を実行します。

  1. コマンドstart-yarn.shを使用してYarnを開始します
  2. コマンドjpsを使用してResource Manager nodを確認します
  3. 次のコードを構成に追加します
<property>
    <name>yarn.resourcemanager.address</name>
    <value>127.0.0.1:8032</value>
</property>
1
sunanda

127.0.0.1:*の値をyarn-site.xmlに変更することで同じ問題を解決しました

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.resourcemanager.address</name>
    <value>127.0.0.1:8032</value>
     </property>
      <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>127.0.0.1:8030</value>
     </property>
    <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>127.0.0.1:8031</value>
     </property>
1
B B

私の場合、xml構成ファイルにタイプミスがありました。 $ HADOOP_HOME/logs/yarn-rdmaHB-resourcemanager-（yourhostname）.logでログを確認できます。役立つスタックトラックがあるかもしれません。

0
Taylor
Configuration conf = HBaseConfiguration.create();
 conf.set("yarn.resourcemanager.address", "127.0.0.1:8032");

Confでyarn.resourcemanager.addressを設定できます

0
Saurabh