web-dev-qa-db-ja.com

WebHDFSとHttpFS

WebHDFS REST APIHttpFS の違いは何ですか?

私が正しく理解している場合:

  • HttpFSは、HDFS上にREST APIを公開する独立したサービスです
  • WebHDFSはREST APIがHDFSに組み込まれています。これ以上、インストールする必要はありません。

私は正しいですか?

どちらか一方を使用することをお勧めするのはいつですか?

22
Santiago Cepas

あなたの質問に関連する記事を読みました。以下はリンクです。

https://www.linkedin.com/today/post/article/20140717115238-176301000-accessing-hdfs-using-the-webhdfs-rest-api-vs-httpfs

WebHDFSとHttpFs WebHDFSとHttpFsの主な違い:WebHDFSはクラスターのすべてのノードにアクセスする必要があり、一部のデータが読み取られると、そのノードから直接送信されますが、HttpFsでは単一のノードが「ゲートウェイ」と同様に機能し、クライアントノードへのデータ転送の単一ポイントになります。そのため、大きなファイル転送中にHttpFがチョークされる可能性がありますが、HDFSへのアクセスに必要なフットプリントを最小限に抑えているのは良いことです。

18
Likoed