将来そのディレクトリに書き込まれるファイルに変更が適用されると予想される場合、Hadoopのディレクトリのレプリケーション係数を変更する方法はありますか?
次のコマンドを使用して、ファイルの複製係数を変更できます。
hdfs dfs –setrep –w 3 /user/hdfs/file.txt
次のコマンドを使用して、ディレクトリのレプリケーション係数を変更することもできます。
hdfs dfs -setrep -R 2 /user/hdfs/test
ただし、ディレクトリのレプリケーション係数を変更すると、既存のファイルにのみ影響し、ディレクトリの下の新しいファイルはデフォルトのレプリケーション係数(dfs.replication from hdfs-site.xml
)クラスターの。
詳細については、 リンク を参照してください。
HDFSのレプリケーション係数を構成するには、 リンク を参照してください。
ただし、以下を渡すことで、HDFSのデフォルトのレプリケーション係数を一時的にオーバーライドしてオフにすることができます。
-D dfs.replication=1
これは、Map/Reduceジョブで渡すときにうまく機能するはずです。これはあなたの仕事に固有のものになります。
あなたが求めていることは、このHDFSJiraでも求められていると思います。
https://issues.Apache.org/jira/browse/HDFS-199
残念ながら、いいえのように見えます。この機能は利用できず、まもなく提供されないようです。他の人からの回避策はあなたの(そして私の!)最善の策のように見えます。