Centos5.5に暗号化されたRAID6をセットアップしました。大きな10GBのファイルをレイドからコンピューターに転送すると、約4〜5 GBで一時停止し、再び9GBで一時停止します。データ転送は、約30〜60秒間、25mb /秒から<1mb /秒に低下します。
ストリーミングHDビデオは、数分ごとに途切れたりフリーズしたりします。
転送はsamba経由です。同じことがrsyncでも起こりますが(rsyncデーモンを使用)、転送速度はわずかに高くなります。
誰かが問題を追跡する方法を教えてもらえますか?ボトルネックがどこにあるかを見つける方法がわかりません。
背景情報:
レイドからデータを転送している間、CPU使用率は1つのコアで約45%です。
レイドの作成方法:
レイドスタックは次のとおりです。
disk-> RAID-> dm-crypt-> LVM-> fs
私は7x2TBのディスクを持っています。それぞれに1つの「fd」(RAID)パーティションがあります(/ dev/sdb->/dev/sdh)注/ dev/sdaはOSを含むSSDです
これが私がそれを作成した方法です
レイドデバイスを作成する
mdadm --create /dev/md0 --level=6 --raid-devices=7 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1 /dev/sdg1 /dev/sdh1
暗号化された配列を開く
cryptsetup --key-file /mnt/usbstick/img_0768.jpg luksOpen /dev/md0 md0encrypted
LVMを作成する
pvcreate /dev/mapper/md0encrypted
ボリュームグループを作成します-256Mを使用します。これにより、約16.7TBが可能になります。 2の累乗でなければなりません
vgcreate -s 256M VolGroupRaid /dev/mapper/md0encrypted
ボリュームを作成します。 (vgdisplay-vから合計PE37260を取得しました)
lvcreate -l 37260 VolGroupRaid --name raidvol
を使用してフォーマットします
mkfs.ext3 /dev/VolGroupRaid/raidvol
マウントする
mount /dev/VolGroupRaid/raidvol /mnt/raid
システム情報
lspci
00:00.0 Host bridge: Intel Corporation 82P965/G965 Memory Controller Hub (rev 02)
00:01.0 PCI bridge: Intel Corporation 82P965/G965 PCI Express Root Port (rev 02)
00:1a.0 USB Controller: Intel Corporation 82801H (ICH8 Family) USB UHCI Controller #4 (rev 02)
00:1a.1 USB Controller: Intel Corporation 82801H (ICH8 Family) USB UHCI Controller #5 (rev 02)
00:1a.7 USB Controller: Intel Corporation 82801H (ICH8 Family) USB2 EHCI Controller #2 (rev 02)
00:1c.0 PCI bridge: Intel Corporation 82801H (ICH8 Family) PCI Express Port 1 (rev 02)
00:1c.4 PCI bridge: Intel Corporation 82801H (ICH8 Family) PCI Express Port 5 (rev 02)
00:1c.5 PCI bridge: Intel Corporation 82801H (ICH8 Family) PCI Express Port 6 (rev 02)
00:1d.0 USB Controller: Intel Corporation 82801H (ICH8 Family) USB UHCI Controller #1 (rev 02)
00:1d.1 USB Controller: Intel Corporation 82801H (ICH8 Family) USB UHCI Controller #2 (rev 02)
00:1d.2 USB Controller: Intel Corporation 82801H (ICH8 Family) USB UHCI Controller #3 (rev 02)
00:1d.7 USB Controller: Intel Corporation 82801H (ICH8 Family) USB2 EHCI Controller #1 (rev 02)
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev f2)
00:1f.0 ISA bridge: Intel Corporation 82801HB/HR (ICH8/R) LPC Interface Controller (rev 02)
00:1f.2 SATA controller: Intel Corporation 82801HR/HO/HH (ICH8R/DO/DH) 6 port SATA AHCI Controller (rev 02)
00:1f.3 SMBus: Intel Corporation 82801H (ICH8 Family) SMBus Controller (rev 02)
01:00.0 VGA compatible controller: nVidia Corporation G84 [GeForce 8600 GT] (rev a1)
03:00.0 Ethernet controller: Marvell Technology Group Ltd. 88E8053 PCI-E Gigabit Ethernet Controller (rev 22)
04:00.0 SATA controller: JMicron Technology Corp. JMB362/JMB363 Serial ATA Controller (rev 02)
04:00.1 IDE interface: JMicron Technology Corp. JMB362/JMB363 Serial ATA Controller (rev 02)
dmesg | grep -i raid
device-mapper: dm-raid45: initialized v0.2594l
md: Autodetecting RAID arrays.
raid5: automatically using best checksumming function: generic_sse
raid5: using function: generic_sse (6816.000 MB/sec)
raid6: int64x1 1558 MB/s
raid6: int64x2 1937 MB/s
raid6: int64x4 1765 MB/s
raid6: int64x8 1468 MB/s
raid6: sse2x1 3308 MB/s
raid6: sse2x2 4863 MB/s
raid6: sse2x4 5582 MB/s
raid6: using algorithm sse2x4 (5582 MB/s)
md: raid6 personality registered for level 6
md: raid5 personality registered for level 5
md: raid4 personality registered for level 4
raid5: device sdh1 operational as raid disk 6
raid5: device sdg1 operational as raid disk 5
raid5: device sdf1 operational as raid disk 4
raid5: device sde1 operational as raid disk 3
raid5: device sdd1 operational as raid disk 2
raid5: device sdc1 operational as raid disk 1
raid5: device sdb1 operational as raid disk 0
raid5: allocated 7412kB for md0
raid5: raid level 6 set md0 active with 7 out of 7 devices, algorithm 2
RAID5 conf printout:
cat/proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid6 sdh1[6] sdg1[5] sdf1[4] sde1[3] sdd1[2] sdc1[1] sdb1[0]
9767559680 blocks level 6, 64k chunk, algorithm 2 [7/7] [UUUUUUU]
unused devices: <none>
それを診断する方法は、コンポーネントを削除/置換することです。完全なセットアップは次のとおりです。
centos(disk-->RAID-->dm-crypt-->LVM-->fs)-->network->mycomputer
別の目的地を試してください:
centos(disk-->RAID-->dm-crypt-->LVM-->fs)-->network->anothercomputer
ネットワークを排除します。
centos(disk-->RAID-->dm-crypt-->LVM-->fs)-->centos
すべてのスタックを削除して、ネットワークかどうかを確認します。
centos(disk(one disk)-->fs)-->network->mycomputer
ネットワークだけではない場合は、コンポーネントの追加を開始します。
centos(disk-->RAID-->fs)-->network->mycomputer
centos(disk-->RAID-->LVM-->fs)-->network->mycomputer
これらは私が考えることができるすべての組み合わせについてです。
最良の場合の転送速度でさえかなり悪いように見えますが、7ドライブのRAID 6から大きなファイルを読み取ると、GigEリンクが簡単に飽和する可能性があるため、SAMBAのオーバーヘッドがあっても、25Meg /秒よりもはるかに優れているはずです。
暗号化のオーバーヘッドは、一般的な原則としてあなたを妨げるべきではありません。暗号化/復号化(AESを使用)100Meg /秒以上は、最新のCPUのシングルコアの機能の範囲内ですが、 dm-に関するこのメッセージcrypt は、セットアップによってトリガーされる可能性のあるボトルネックである可能性があり、比較的最近のものであるため、まだ問題であると思われます。
あなたがあなたのコンピュータに転送していると言うとき-そこのスペックは何ですか-どのOS、どれくらいRAMそしてあなたが書いているドライブサブシステムはどれくらい速いですか、すなわちそれは25Megに追いつくことができますか/秒?