web-dev-qa-db-ja.com

HDFSのデフォルトのNamenodeポートは50070ですが、いくつかの場所で8020または9000に遭遇しました

Hadoopクラスターをセットアップするとき、50070で実行されているnamenodeを読み取り、それに応じてセットアップしましたが、正常に実行されています。

しかし、いくつかの本では、名前ノードアドレスに出くわしました：

hdfs://localhost:9000/

または

hdfs://localhost:8020

Namenodeのポートを設定するための適切な番号は何ですか？

hadoophdfs
39
Kumar

Namenode Web UIのデフォルトアドレスはhttp://localhost:50070/。ブラウザでこのアドレスを開き、namenode情報を確認できます。

ネームノードサーバーのデフォルトアドレスはhdfs://localhost:8020/。これに接続して、HDFS APIでHDFSにアクセスできます。は実際のサービスアドレスです。

30
zsxwing

デフォルトのHadoopポートは次のとおりです（HTTPポート、WEB UIがあります）：

Daemon                   Default Port  Configuration Parameter
-----------------------  ------------ ----------------------------------
Namenode                 50070        dfs.http.address
Datanodes                50075        dfs.datanode.http.address
Secondarynamenode        50090        dfs.secondary.http.address
Backup/Checkpoint node?  50105        dfs.backup.http.address
Jobracker                50030        mapred.job.tracker.http.address
Tasktrackers             50060        mapred.task.tracker.http.address

内部的に、Hadoopは主にサーバー間で通信するためにInter Process Communicatorの略であるHadoop IPCを使用します。次の表に、Hadoopが使用するポートとプロトコルを示します。この表には、上記のHTTPポートは含まれていません。

Daemon      Default Port        Configuration Parameter     
------------------------------------------------------------
Namenode    8020                fs.default.name         
Datanode    50010               dfs.datanode.address        
Datanode    50020               dfs.datanode.ipc.address                                    
Backupnode  50100               dfs.backup.address

詳細については、このリンクをご覧ください： http://blog.cloudera.com/blog/2009/08/hadoop-default-ports-quick-reference/

29
Muhammad Soliman

9000はデフォルトのHDFSサービスポートです。これにはWeb UIがありません。50070がデフォルトのNameNode Web UIポートです（ただし、hadoop 3.0以降では50070は9870に更新されます）

5
Binita Bharati

Hadoop WEB UIにアクセスするには、 http：// localhost：50075 / と入力する必要がありますが、core-site.xmlには http：// localhost：90 が含まれているためですはhdfs要求用で、50075はWEB UIのデフォルトポートです。

3
Hemanth

これは、hadoopの構成とディストリビューションによってデフォルトが異なるためです。 core-site.xmlでfs.default.nameまたはfs.defaultFSプロパティを以下のように変更することにより、いつでもポートを構成できます。

<configuration>
 <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
 </property>
</configuration>

Hadoop 1.0.4の場合、以下のようなポート番号について言及しない場合

<value>hdfs://localhost</value>

デフォルトのポートは8020です。しかし、.20 iなどのバージョンの一部では9000です。したがって、使用しているhadoopのバージョンに依存します。

ただし、すべての構成と配布では、HDFS uiの標準ポート番号として50070を使用しています。

3
sathish reddy

50070はnamenodeのデフォルトのUIポートです。 8020/9000は、namenodeのInter Process Communicatorポート（IPC）です。

IPC portへの参照： https://en.wikipedia.org/wiki/Inter-process_communication

1
Bijoy

50070は、httpのNamenodeのデフォルトUIポートです。 httpsの場合は50470です。9000はIPC port（Inter Process Communicator）です。localhost：50070をクリックすると、概要9000（アクティブ）およびlocalhost：9000でnamenode構成を確認できます。ファイルシステムメタデータに必要な「Hadoop IPC port。これはこのデーモンのWebインターフェースの正しいポートではありません。」にHTTPリクエストを送信しているようです。」オペレーション。

0
user2235729