web-dev-qa-db-ja.com

現在、ZFS重複排除テーブルのサイズはどれくらいですか?

計画に関する多くの情報を読みましたRAM要件。ZFSzvolsで非常に限られた重複排除をサポートするためにファイルサーバーのRAMをアップグレードしました(別のファイルシステムとしてフォーマットされたzvolsであるため)スナップショットとクローンを使用できませんが、重複したデータが多く含まれます。

新しいRAMが、予定している限定的な重複排除をサポートすることを確認したい。計画上、数値は適切に見えるが、なりたい承知しました

ライブシステム上のZFS重複排除テーブル(DDT)の現在のサイズを確認するにはどうすればよいですか?私は このメーリングリストのスレッド を読みましたが、彼らがそれらの数値にどのように到達しているかは不明です。 (必要に応じてzdb tankの出力を投稿できますが、他の人を助けることができる一般的な答えを探しています)

22
Josh

zpool status -D poolnameコマンド。

出力は次のようになります。

root@san1:/volumes# zpool status -D vol1
  pool: vol1
 state: ONLINE
 scan: scrub repaired 0 in 4h38m with 0 errors on Sun Mar 24 13:16:12 2013

DDT entries 2459286, size 481 on disk, 392 in core

bucket              allocated                       referenced          
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    2.23M   35.6G   19.0G   19.0G    2.23M   35.6G   19.0G   19.0G
     2     112K   1.75G   1005M   1005M     240K   3.75G   2.09G   2.09G
     4    8.03K    129M   73.8M   73.8M    35.4K    566M    324M    324M
     8      434   6.78M   3.16M   3.16M    4.61K   73.8M   35.4M   35.4M
    16      119   1.86M    811K    811K    2.33K   37.3M   15.3M   15.3M
    32       24    384K   34.5K   34.5K    1.13K   18.1M   1.51M   1.51M
    64       19    304K     19K     19K    1.63K   26.1M   1.63M   1.63M
   128        7    112K      7K      7K    1.26K   20.1M   1.26M   1.26M
   256        3     48K      3K      3K     1012   15.8M   1012K   1012K
   512        3     48K      3K      3K    2.01K   32.1M   2.01M   2.01M
    1K        2     32K      2K      2K    2.61K   41.7M   2.61M   2.61M
    2K        1     16K      1K      1K    2.31K   36.9M   2.31M   2.31M
 Total    2.35M   37.5G   20.1G   20.1G    2.51M   40.2G   21.5G   21.5G

重要なフィールドは、Total割り当てブロックとTotal参照ブロックです。上記の例では、重複排除率が低くなっています。 40.2Gは37.5Gのスペースでディスクに保管されます。または、235万ブロック分のスペースに251万ブロック。

テーブルの実際のサイズを取得するには、以下を参照してください。

DDTエントリ2459286、ディスク上のサイズ481、コア内に392

2459286 * 392 = 964040112バイト1024と1024で除算して取得:919.3MB in RAM

19
ewwhite

元のメールスレッドとそれを明確にする@ ewwhite's回答を読んだ後、上記の回答はその半分しかカバーしていないため、この質問は更新された回答が必要だと思います。

例として、私のプールの出力を使用してみましょう。コマンド_zdb -U /data/zfs/zpool.cache -bDDD My_pool_を使用しました。私のシステムでは、FreeNASが通常とは異なる場所に保存するプールのZFSキャッシュファイルを見つけるために、追加の_-U_引数が必要でした。あなたはそれをする必要があるかもしれません。通常、_-U_なしでzdbを最初に試します。キャッシュファイルエラーが発生した場合は、_find / -name "zpool.cache"_などを使用して、必要なファイルを探します。

これは私の実際の出力であり、以下で解釈しました。

_DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core

bucket              allocated                       referenced
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     2     648K   75.8G   68.6G   68.8G    1.39M    165G    149G    149G
     4    71.2K   8.07G   6.57G   6.62G     368K   41.7G   34.1G   34.3G
     8    28.1K   3.12G   2.34G   2.36G     281K   31.0G   23.1G   23.4G
    16    5.07K    424M    232M    241M     110K   9.10G   5.06G   5.24G
    32    1.09K   90.6M   51.8M   53.6M    45.8K   3.81G   2.21G   2.28G
    64      215   17.0M   8.51M   8.91M    17.6K   1.39G    705M    739M
   128       38   2.12M    776K    872K    6.02K    337M    118M    133M
   256       13    420K   21.5K     52K    4.63K    125M   7.98M   18.5M
   512        3      6K      3K     12K    1.79K   3.44M   1.74M   7.16M
    1K        1    128K      1K      4K    1.85K    237M   1.85M   7.42M
    2K        1     512     512      4K    3.38K   1.69M   1.69M   13.5M

DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core

bucket              allocated                       referenced
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    4.42M    550G    498G    500G    4.42M    550G    498G    500G


DDT histogram (aggregated over all DDTs):

bucket              allocated                       referenced
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    4.42M    550G    498G    500G    4.42M    550G    498G    500G
     2     648K   75.8G   68.6G   68.8G    1.39M    165G    149G    149G
     4    71.2K   8.07G   6.57G   6.62G     368K   41.7G   34.1G   34.3G
     8    28.1K   3.12G   2.34G   2.36G     281K   31.0G   23.1G   23.4G
    16    5.07K    424M    232M    241M     110K   9.10G   5.06G   5.24G
    32    1.09K   90.6M   51.8M   53.6M    45.8K   3.81G   2.21G   2.28G
    64      215   17.0M   8.51M   8.91M    17.6K   1.39G    705M    739M
   128       38   2.12M    776K    872K    6.02K    337M    118M    133M
   256       13    420K   21.5K     52K    4.63K    125M   7.98M   18.5M
   512        3      6K      3K     12K    1.79K   3.44M   1.74M   7.16M
    1K        1    128K      1K      4K    1.85K    237M   1.85M   7.42M
    2K        1     512     512      4K    3.38K   1.69M   1.69M   13.5M
 Total    5.16M    638G    576G    578G    6.64M    803G    712G    715G

dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
_

それがすべて意味し、実際の重複除去テーブルのサイズを計算する:

出力には2つのサブテーブルが表示されます。1つは重複が存在するブロック用であり(DDT-sha256-zap-duplicate)、1つは重複が存在しないブロック用です(DDT-sha256-zap-unique)/。それらの下の3番目の表は、これら両方の全体の合計を示し、その下に要約行があります。 「合計」の行と要約だけを見ると、必要なものがわかります。

複数回出現するすべてのブロックのDDTサイズ( "DDT-sha256-zap-duplicate")
771295 entries, size 512 bytes on disk, 165 bytes in RAM ("core")

一意のブロックのDDTサイズ( "DDT-sha256-zap-unique")
4637966 entries, size 478 bytes on disk, 154 bytes in RAM ("core")

すべてのDDTエントリの合計DDT統計、重複+一意( "すべてのDDTで集計されたDDTヒストグラム")

_                    allocated                       referenced
          (= disk space actually used)      (= amount of data deduped 
                                                 into that space)
______   ______________________________   ______________________________
         blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE

 Total    5.16M    638G    576G    578G    6.64M    803G    712G    715G
_

概要
_dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39_

いくつかの数値を計算しましょう。

  • ブロック数は次のように機能します):==重複ブロックに関連するエントリの数= 771295、一意のブロックに関連するエントリの数= 4637966、DDTテーブルの合計エントリは771295 + 4637966 = 5409261である必要があります。したがって、数百万単位のブロックの数(つまり、バイナリ百万単位)は5409261 /(1024 ^ 2 5.158百万になります。要約では、5.16Mブロック合計があることがわかります。

  • 必要なRAMは次のように機能します重複ブロックの771295エントリはそれぞれRAMで165バイトを占有し、一意のブロックの4637966エントリはそれぞれRAMで154バイトを占有するため、合計RAM現時点で重複除去テーブルに必要= 841510439バイト= 841510439 /(1024 ^ 2)Mバイト= 803 MB =0.78 GBのRAM.

    (使用されるディスク上のサイズは、「ディスク上のサイズ」の数値を使用して同じ方法で計算できます。明らかに、ZFSはディスクI/Oを効率的に使用し、ディスク領域が使用されるという事実を利用しようとしていますDDTによるアップは通常問題ではありません。したがって、ZFSは、効率を維持するために、154バイトまたは165バイトではなく、各エントリまたはそれらの行に沿った何かに完全な512バイトセクターを単に割り当てているように見えます。通常、ZFSが行う、ディスク上に保持される複数のコピーに対する許容量が含まれます。)

  • 保存されているデータの総量と重複排除の利点:合計DDT統計から、割り当てられたストレージの578ギガバイト( "578G")だけを使用して、715ギガバイト( "715G")のデータが保存されますディスク上。したがって、重複排除スペースの節約率は(715 GBのデータ)/(重複排除後に使用される578 GBのスペース)= 1.237 xであり、これが要約です。が教えてくれます( "dedup = 1.24")。

6
Stilez