web-dev-qa-db-ja.com

HBaseテーブルのサイズを確認するにはどうすればよいですか？そうするためのコマンドはありますか？

私のHbase Shellには、ファイルシステムにコピーしたい複数のテーブルがあります。一部のテーブルは100GBを超えています。ただし、ローカルファイルシステムには55 GBの空き容量しかありません。したがって、小さなサイズのテーブルのみをエクスポートできるように、hbaseテーブルのサイズを知りたいのですが。任意の提案をいただければ幸いです。

ありがとう、gautham

hadoopexporthbasebigdata
15
gautham

hdfs dfs -du -h /hbase/data/default/（または、使用するhbaseのバージョンに応じて/ hbase /）

これは、テーブルのファイルによって使用されているスペースの量を示します。

お役に立てれば幸いです。

28
Alexander

0.98以上の場合hadoop fs -du -s -h $hbase_root_dir/data/data/$schema_name/（または0.94の場合は/ hbase /）

クラスターのhbase-site.xmlファイルからhbase_root_dirを見つけることができます。上記のコマンドは、各テーブルで使用されているディスクの概要を提供します。

7
Anil Gupta

dを使用します

使用法： hdfs dfs -du [-s] [-h] URI [URI …]

特定のディレクトリに含まれるファイルとディレクトリのサイズ、またはファイルのみの場合はファイルの長さを表示します。

オプション：

-sオプションを指定すると、個々のファイルではなく、ファイルの長さの集計が表示されます。

-hオプションは、「人間が読める」形式でファイルサイズをフォーマットします（例：67108864ではなく64.0m）

例：

hdfs dfs -du -h /hbase/data/default

私のための出力：

1.2 M    /hbase/data/default/kylin_metadata
14.0 K   /hbase/data/default/kylin_metadata_acl
636      /hbase/data/default/kylin_metadata_user
5.6 K    /hbase/data/default/test
4
Reagan Ochora