web-dev-qa-db-ja.com

Hadoop HDFS：コマンドラインからファイルブロックサイズを設定しますか？

ファイルをHDFSにロードするときに、ファイルのブロックサイズを、クラスターのブロックサイズよりも小さい値に設定する必要があります。たとえば、HDFSが64MBブロックを使用している場合、32MBブロックで大きなファイルをコピーしたい場合があります。

Hadoopワークロード内で org.Apache.hadoop.fs.FileSystem.create（） 関数を使用してこれを以前に実行しましたが、コマンドラインから実行する方法はありますか？

hadoopblockhdfs
5
BigChief

これを行うには、hadoop fsコマンドで-Ddfs.block.size = somethingを設定します。例えば：

hadoop fs -Ddfs.block.size=1048576  -put ganglia-3.2.0-1.src.rpm /home/hcoyote

ここでわかるように、ブロックサイズはコマンドラインで定義したものに変更されます（私の場合、デフォルトは64MBですが、ここでは1MBに変更しています）。

:;  hadoop fsck -blocks -files -locations /home/hcoyote/ganglia-3.2.0-1.src.rpm 
FSCK started by hcoyote from /10.1.1.111 for path /home/hcoyote/ganglia-3.2.0-1.src.rpm at Mon Aug 15 14:34:14 CDT 2011
/home/hcoyote/ganglia-3.2.0-1.src.rpm 1376561 bytes, 2 block(s):  OK
0. blk_5365260307246279706_901858 len=1048576 repl=3 [10.1.1.115:50010, 10.1.1.105:50010, 10.1.1.119:50010]
1. blk_-6347324528974215118_901858 len=327985 repl=3 [10.1.1.106:50010, 10.1.1.105:50010, 10.1.1.104:50010]

Status: HEALTHY
 Total size:    1376561 B
 Total dirs:    0
 Total files:   1
 Total blocks (validated):  2 (avg. block size 688280 B)
 Minimally replicated blocks:   2 (100.0 %)
 Over-replicated blocks:    0 (0.0 %)
 Under-replicated blocks:   0 (0.0 %)
 Mis-replicated blocks:     0 (0.0 %)
 Default replication factor:    3
 Average block replication: 3.0
 Corrupt blocks:        0
 Missing replicas:      0 (0.0 %)
 Number of data-nodes:      12
 Number of racks:       1
FSCK ended at Mon Aug 15 14:34:14 CDT 2011 in 0 milliseconds


The filesystem under path '/home/hcoyote/ganglia-3.2.0-1.src.rpm' is HEALTHY
5
Travis Campbell

HADOOP 0.21に関する注意ここでは0.21に問題があり、-D dfs.block.sizeではなく-D dfs.blocksizeを使用する必要があります。

1
Buck