web-dev-qa-db-ja.com

RAID1の読み取りアクセスが書き込みアクセスよりも遅いのはなぜですか？

いくつかの簡単なパフォーマンステストを実行しましたが、RAID1からの読み取りは書き込みよりも遅いようです。

root@dss0:~# for i in 1 2 3; do dd if=/dev/zero of=/dev/sda bs=1048576 count=131072; done
137438953472 bytes (137 GB) copied, 192.349 s, 715 MB/s
137438953472 bytes (137 GB) copied, 192.851 s, 713 MB/s
137438953472 bytes (137 GB) copied, 193.026 s, 712 MB/s
root@dss0:~# for i in 1 2 3; do dd if=/dev/sda of=/dev/null bs=1048576 count=131072; done
137438953472 bytes (137 GB) copied, 257.201 s, 534 MB/s
137438953472 bytes (137 GB) copied, 255.522 s, 538 MB/s
137438953472 bytes (137 GB) copied, 259.945 s, 529 MB/s

Ddがパフォーマンステストツールではないことは理解していますが、この結果はまだ驚きです。

システムはベンダーによって構築され、16 GByte RAMを備えたSupermicroメインボードを備えています。 RAIDコントローラーは、1Gバイトのキャッシュを備えたMegaRAID 9271-8iです。 8 2 TByte SAS SAS-933EL1バックプレーン上のディスクがあります。ケーブルがわからないので、コントローラの1つのコネクタがSASバックプレーンに接続します。もう1つは、OSを保持する2つのSATAディスクです。

RAID1は、次のコマンドでセットアップされました。

root@dss0:~# /opt/MegaRAID/MegaCli/MegaCli64 -CfgLdAdd -r1 [8:0,8:1,8:2,8:3,8:4,8:5,8:6,8:7] WB NORA Direct -a0
Adapter 0: Created VD 0
Adapter 0: Configured the Adapter!!
Exit Code: 0x00

root@dss0:~# /opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -LALL -aALL
Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name                :
RAID Level          : Primary-1, Secondary-0, RAID Level Qualifier-0
Size                : 7.275 TB
Sector Size         : 512
Is VD emulated      : No
Mirror Data         : 7.275 TB
State               : Optimal
Strip Size          : 256 KB
Number Of Drives    : 8
Span Depth          : 1
Default Cache Policy: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Disk's Default
Encryption Type     : None
PI type: No PI
Is VD Cached: No
Exit Code: 0x00

読み取りアクセスは少なくとも書き込みアクセスと同じくらい速く、おそらくもっと速いと思います。 715 MByte/secの書き込み速度は、単一のSAS/SATAコネクタの6 GBitの制限に近いようです。これは、SASバックプレーンの構成またはケーブル接続の問題ですか？SASバックプレーン構成は、MegaRAIDコマンドで照会できますか？アドバイスしてください。

更新

PoigeとPeterが指摘したように、予想よりも遅い読み取りパフォーマンスは、おそらくLinux I/Oサブシステムのキャッシングが原因です。

Ddコマンドで直接フラグを使用すると、

root@dss0:~# dd if=/dev/sda of=/dev/null bs=1048576 count=131072 iflag=direct
137438953472 bytes (137 GB) copied, 199.862 s, 688 MB/s

これははるかに優れていますが、書き込み速度よりも10％遅くなります。 oflag = directを使用しても、書き込み速度に影響はありませんでした。

performanceraidstoragemegaraid
10
nn4l

poigeは書き込みキャッシュについて正確に正しいですが、ここに詳細があります。

ゼロを使​​用し、書き込みキャッシュを使用するddは、ベンチマークを行う正しい方法ではありません（もちろん、書き込みキャッシュをテストする場合を除きます。これは、おそらくファイルシステムでのみ役立ち、メタデータの同期や新しいファイルの作成などを確認するために役立ちます。 ）（おそらくddは常に間違ったタイプのベンチマークですが、非常に基本的なテストでは機能します）

次のオプションを少なくとも1つ指定してddを使用することをお勧めします。

conv=fdatasync -> this will make it flush to disk before finishing and calculating speed
oflag=direct   -> this will make it skip the OS cache but not the disk cache
conv=sync      -> more like skipping the disk cache too, but not really ... just flushing it every block or something like that.

また、ゼロも使用しないでください。一部のスマートハードウェア/ソフトウェア/ファームウェアは、データがゼロとして予測可能である場合、いくつかのショートカットを使用する場合があります。これは、あなたが使用していないと私が推測している圧縮がある場合に特に当てはまります。代わりに、メモリ内のランダムファイル（/ dev/shmなど）を使用してください。 urandomは遅いので、もう一度読むには一時的にどこかに書く必要があります。 50MBのランダムファイルを作成します。

dd if=/dev/urandom of=/dev/shm/randfile bs=1M count=50

ファイルを何度も読み取って書き込みます（ここでは、catを使用して6回読み取ります）。

dd if=<(cat /dev/shm/randfile{,,,,,}) of= ... conv=fdatasync

rm /dev/shm/randfile

また、raid1の読み取りは並列操作で最速であるため、ディスクを個別に使用できることにも注意してください。異なるディスクを使用して同じ操作の異なる部分を読み取るようにディスクを調整するには、おそらく十分にスマートではありません。

8
Peter

あなたの質問に対する答えの鍵は、先読みです。昔々、私も その問題を抱えていた 。

IOW、最適なシーケンシャル読み取りパフォーマンスのために、すべてのディスクが永続的に入力に関与する必要があります。

dd w/o directioを使用する場合（man dd）、書き込み操作はすぐには実行されませんが、OSキャッシュを通過するため、すべてのディスクを順番に使用して、最大限のパフォーマンスを実現する可能性が高くなります。

10
poige