KVMノードでのディスクパフォーマンスが非常に悪い-mdadmraid10
長い間、CentOS仮想化に使用されるKVMサーバーでパフォーマンスの問題が発生しています。
4つのディスクでソフトウェアRAID-10を実行しています（Seagate ST2000DM001, 2TB, 7200rpm SATA-600）これらのKVMVMは独自のLVで実行されています。
いくつかのVMがインストールされると、VMが追加されるたびに、パフォーマンスが低下し続けます。
現在、Debian 7 minimalのインストールには約3時間かかります。 VMのない空のボックスでは、これには最大で数分かかります。
奇妙なことに、37台のVMを使用しても、ディスクI/Oはほとんどありません。ただし、その時点で実行する必要のあるすべてのI/Oにより、その特定のLVボリュームに関する"dm"デバイスが100％になります。
何らかの理由で、"dm-xx"デバイスがすべてのディスクを使用できるわけではないようです。
以下は私が言っていることの例です。 sd[a/b/c/d]は通常、この問題の間に約40〜60％の負荷がかかりますが、1つ以上のdmデバイスは、深刻なI/Oなしで高負荷になっています。
VMによって使用されている特定のdm-0の%utilに注意してください。
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sdb 10.00 0.00 5.00 36.00 256.00 424.00 33.17 0.86 20.73 11.02 45.20
sdd 0.00 1.00 0.00 48.00 0.00 389.00 16.21 0.85 17.71 10.90 52.30
sda 0.00 0.00 2.00 39.00 32.00 161.00 9.41 0.77 18.63 11.44 46.90
sdc 0.00 1.00 0.00 50.00 0.00 764.00 30.56 1.59 47.08 13.90 69.50
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 18.00 68.00 288.00 813.00 25.60 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 0.00 6.00 0.00 40.00 13.33 0.31 51.50 51.17 30.70
dm-1 0.00 0.00 0.00 7.00 0.00 72.00 20.57 0.74 49.43 99.14 69.40
dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-3 0.00 0.00 16.00 0.00 256.00 0.00 32.00 0.96 59.69 8.38 13.40
dm-4 0.00 0.00 0.00 8.00 0.00 68.00 17.00 0.28 34.62 31.25 25.00
dm-5 0.00 0.00 0.00 4.00 0.00 156.00 78.00 0.05 12.00 12.00 4.80
dm-6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-7 0.00 0.00 0.00 4.00 0.00 20.00 10.00 0.08 19.00 6.75 2.70
dm-8 0.00 0.00 0.00 3.00 0.00 4.00 2.67 0.54 258.33 154.00 46.20
dm-9 0.00 0.00 0.00 5.00 0.00 148.00 59.20 0.10 19.40 19.40 9.70
dm-10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-12 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-15 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-17 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-18 0.00 0.00 2.00 0.00 32.00 0.00 32.00 0.03 12.50 6.50 1.30
dm-19 0.00 0.00 0.00 2.00 0.00 12.00 12.00 0.03 13.00 6.50 1.30
dm-20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-21 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-22 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-23 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-24 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-26 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-27 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.11 294.00 110.00 11.00
dm-28 0.00 0.00 0.00 3.00 0.00 16.00 10.67 0.10 50.33 25.00 7.50
dm-29 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-30 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-31 0.00 0.00 0.00 4.00 0.00 12.00 6.00 0.56 140.25 140.25 56.10
dm-32 0.00 0.00 0.00 6.00 0.00 32.00 10.67 0.76 125.83 125.83 75.50
dm-33 0.00 0.00 0.00 4.00 0.00 12.00 6.00 0.21 53.00 53.00 21.20
dm-34 0.00 0.00 0.00 3.00 0.00 4.00 2.67 0.40 172.33 133.33 40.00
dm-35 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-36 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-37 0.00 0.00 0.00 9.00 0.00 217.00 48.22 1.09 135.33 111.00 99.90
=================================
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sdb 0.00 0.00 0.00 7.00 0.00 72.00 20.57 3.84 430.14 126.00 88.20
sdd 10.00 0.00 4.00 13.00 240.00 304.00 64.00 2.07 126.59 33.00 56.10
sda 0.00 1.00 1.00 11.00 16.00 320.00 56.00 0.25 20.42 8.83 10.60
sdc 0.00 0.00 2.00 7.00 32.00 96.00 28.44 0.13 14.89 13.78 12.40
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 18.00 17.00 288.00 416.00 40.23 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-3 0.00 0.00 13.00 0.00 208.00 0.00 32.00 3.66 281.85 21.69 28.20
dm-4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-5 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-7 0.00 0.00 0.00 5.00 0.00 92.00 36.80 1.84 179.40 189.80 94.90
dm-8 0.00 0.00 0.00 1.00 0.00 4.00 8.00 1.00 655.00 1000.00 100.00
dm-9 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-12 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-15 0.00 0.00 0.00 1.00 0.00 0.00 0.00 1.44 1512.00 1000.00 100.00
dm-16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-17 0.00 0.00 0.00 3.00 0.00 16.00 10.67 0.56 6.00 187.67 56.30
dm-18 0.00 0.00 5.00 0.00 80.00 0.00 32.00 0.37 73.40 71.40 35.70
dm-19 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-21 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-22 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-23 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-24 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-26 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-27 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.44 0.00 0.00 43.80
dm-28 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-29 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-30 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-31 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-32 0.00 0.00 0.00 1.00 0.00 4.00 8.00 0.00 1.00 1.00 0.10
dm-33 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-34 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-35 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-36 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-37 0.00 0.00 0.00 7.00 0.00 300.00 85.71 2.00 101.00 142.86 100.00
=================================
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sdb 1.00 1.00 1.00 47.00 48.00 676.00 30.17 1.47 30.62 11.65 55.90
sdd 1.00 0.00 9.00 88.00 176.00 395.00 11.77 0.83 8.59 5.12 49.70
sda 0.00 0.00 0.00 50.00 0.00 541.50 21.66 0.83 16.54 11.22 56.10
sdc 1.00 0.00 6.00 87.00 112.00 533.50 13.88 0.87 9.42 4.37 40.60
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 21.00 116.00 336.00 991.00 19.37 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-3 0.00 0.00 4.00 0.00 64.00 0.00 32.00 0.00 0.00 0.00 0.00
dm-4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-5 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-7 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-8 0.00 0.00 0.00 82.00 0.00 848.00 20.68 1.46 17.93 6.29 51.60
dm-9 0.00 0.00 0.00 3.00 0.00 16.00 10.67 0.03 11.33 11.33 3.40
dm-10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-12 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-15 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-17 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-18 0.00 0.00 17.00 0.00 272.00 0.00 32.00 0.49 28.59 10.35 17.60
dm-19 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-21 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-22 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-23 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-24 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-26 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-27 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-28 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-29 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-30 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-31 0.00 0.00 0.00 5.00 0.00 16.00 6.40 0.13 26.00 26.00 13.00
dm-32 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-33 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-34 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-35 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-36 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-37 0.00 0.00 0.00 27.00 0.00 111.00 8.22 1.15 42.41 37.00 99.90
もう一つの例 ：
ランダムVMでこれを行う場合、2MBのSQLファイルのインポートには15分以上かかります。そのLVのI/Oは、完了するまで100％になりすぎます。書き込み/秒は数回、I/Oは数KB /秒です。
これらの負荷があっても、ddでの書き込み速度は約80MB /秒から160MB /秒です。しかし、読み取りはひどいものであり、ほとんどの場合、10MB /秒を超えません。
これが私のRAIDセットアップの様子です。このボックスは「o2」レイアウトで実行されていますが、デフォルトの「n2」レイアウトとの違いはありません。
# cat /proc/mdstat
Personalities : [raid10] [raid1]
md3 : active raid10 sdb5[4] sdc5[2] sdd5[3] sda5[0]
3872954368 blocks super 1.2 512K chunks 2 offset-copies [4/4] [UUUU]
md0 : active raid1 sdb1[4] sdc1[2] sdd1[3] sda1[0]
255988 blocks super 1.0 [4/4] [UUUU]
md2 : active raid10 sdb2[1] sdc2[2] sda2[0] sdd2[3]
31454208 blocks super 1.1 512K chunks 2 near-copies [4/4] [UUUU]
bitmap: 1/1 pages [4KB], 65536KB chunk
md1 : active raid10 sdb3[4] sda3[0] sdc3[2] sdd3[3]
2096128 blocks super 1.1 512K chunks 2 near-copies [4/4] [UUUU]
これは、個々のディスク（sdaなど）とLVが各VMによってパーティション化される方法です。 4Kディスクでは問題ないはずです。
Disk /dev/sda: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x000648b7
Device Boot Start End Blocks Id System
/dev/sda1 * 2048 514047 256000 fd Linux raid autodetect
Partition 1 does not end on cylinder boundary.
/dev/sda2 514048 31971327 15728640 fd Linux raid autodetect
/dev/sda3 31971328 34068479 1048576 fd Linux raid autodetect
/dev/sda4 34068480 3907029167 1936480344 5 Extended
/dev/sda5 34070528 3907028991 1936479232 fd Linux raid autodetect
Disk /dev/mapper/raid10storage-kvm396_img: 75.2 GB, 75161927680 bytes
255 heads, 63 sectors/track, 9137 cylinders, total 146800640 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 524288 bytes / 2097152 bytes
Disk identifier: 0x000a613c
Device Boot Start End Blocks Id System
/dev/mapper/raid10storage-kvm396_imgp1 * 2048 145752063 72875008 83 Linux
/dev/mapper/raid10storage-kvm396_imgp2 145752064 146800639 524288 82 Linux swap / Solaris
すべてのVMでVirtIOを使用しており、キャッシュは"none"に設定されています。さまざまなキャッシュ設定を試しましたが、パフォーマンスがさらに低下しました。
Smapperセットアップ（VMが少ない）用に実行されている他のサーバーがいくつかありますが、RAID-1（2ディスク）に同じタイプのディスクがあり、問題はありません。
これは本当にRAID-10の設定に関連しているようです。
現在、これらのRAID10ボックスを4つ使用しており、すべてCPUとマザーボードの構成が異なります。しかし、これらすべてに同じ恐ろしいパフォーマンスの問題があります。
このセットアップのパフォーマンスが非常に遅い理由を説明できるアイデアや理論を誰かが持っていますか？
このように実際に機能するようになり、1年経ってもまだ原因が見つからないのは非常にイライラします... :(
編集-サーバーの仕様とCPU使用率：
これらのボックスはすべて異なるCPUを備えていますが、ここではいくつかの構成を示します。
- Xeon E3-1240v2、32GB DDR3 ECC、SuperMicro X9SCM-F
- Intel Core i7 2600、32GB DDR3、Intel DQ67OW
- Intel Core i7 3820、32GB DDR3、Intel DX79TO
そして、ここではtopからの出力で、1つのLV @ 100％utilと、他のいくつかのLVが30％から60％の間でバウンスしています。
現時点では、負荷の平均は非常に低いですが、100％のI/O負荷を持つLVの量に応じて、10.00から30.00の間に見られるのはごく普通のことです。
CPUは実際にはロードされておらず、常に少なくとも30％のアイドル状態があります。
top - 02:26:21 up 8 days, 11:34, 2 users, load average: 3.48, 3.99, 3.83
Tasks: 244 total, 2 running, 242 sleeping, 0 stopped, 0 zombie
Cpu(s): 15.3%us, 9.7%sy, 0.0%ni, 62.8%id, 11.4%wa, 0.0%hi, 0.8%si, 0.0%st
Mem: 33001640k total, 23715816k used, 9285824k free, 10740k buffers
Swap: 2096124k total, 0k used, 2096124k free, 1159788k cached
%waの負荷は50％になることもありますが、通常は5つ以上のLVが100％utilに継続的に接触している場合にのみ発生します。
5つ以上のLVが100％で実行されている場合でも、実際に90％以上の負荷がかかっている単一のSATAディスクはありません。それらはすべて40％から60％の領域で使用されています。
-------------------------------
編集2、2014年2月18日;
今日、私はさらにテストを行うために別のVPSノードを構築することにしました。このシステムは、他のすべてのシステムと同じセットアップ（KVM + SolusVMコントロールパネル）を使用します。このテストセットアップでは、次のハードウェアを使用します。
Intel Core i7 2600
32GB memory
4x WD Black 1.5TB (WD1502FAEX), 7200rpm, 64MB cache, SATA600
2x Samsung 830 Pro 128GB SSD's
So basically a completely different storage layer.
OS：CentOS 6.5+最近のすべてのアップデート。カーネルカーネルをストックしますが、パフォーマンスを変更しない最新のメインライン（3.13）カーネルも試しました。
WD BlackドライブにRAID-10アレイ（n2レイアウト、512Kチャンク、ビットマップ付きのストック構成）を作成しました。フラッシュキャッシュで使用されるSSDドライブにRAID-0アレイを作成しました。このセットアップは、すべてのLVM I/Oがフラッシュキャッシュを通過するように構成されています（ライトスルーキャッシュとして）。 SATAドライブとSSDドライブの両方に古い学校の512セクターがあるため、拡張フォーマットはありません。私はこれらのディスクを選択しました。これは、私が最も頻繁に使用する拡張フォーマットのディスクとの間に違いがあるかどうかを確認するためです。しかし、私はそれらを4Kドライブとして分割しました。
ホストノードでのテストから始めました。空のLVボリュームを作成しました。 DDでいくつかの読み取りベンチマークを実行しているときに、ホストで次の読み取り結果が得られました。
- キャッシュされていない〜390MB /秒の読み取り
- SSDキャッシュ最大950MB /秒の読み取り（2回目の実行、データがフラッシュキャッシュによってキャッシュされる場合）
まあ、これらの結果はかなり良く見えます！
今度は同じテストですが、VM、4GBのメモリ、VirtIO、および 'cache = none'を使用します。UbuntuライブDVDを起動し、同じテストを実行しました。これはひどい結果になりました。 ：
- キャッシュされていない〜90MB/sの読み取り
- SSDキャッシュ最大90MB /秒の読み取り（2回目の実行、データがフラッシュキャッシュによってキャッシュされる場合）
テスト中、「dm-x」デバイス（テストVMのLV）は最大95％以上ロードされましたが、個々のSATAディスクディスクは35％を超えませんでした。 SSDについても同じです。現時点で50％utilを超えるデバイスはありません。
これは、このセットアップで取得するためにこれまでに言及した中で最も高い負荷の出力です。これは、キャッシュされていないテスト中（SSDへの書き込みについて説明しています）：
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 361.00 2547.00 1444.00 10188.00 8.00 0.62 0.21 0.03 8.90
sdc 992.00 1.00 246.00 7.00 4932.00 14.50 39.10 0.87 3.43 2.16 54.60
sdb 0.00 0.00 303.00 1754.00 1212.00 7016.00 8.00 0.41 0.20 0.03 5.80
sdd 825.00 1.00 173.00 7.00 3992.00 14.50 44.52 0.60 3.34 2.56 46.00
sde 866.00 25.00 229.00 11.00 4404.00 130.00 37.78 0.85 3.50 2.23 53.40
sdf 771.00 25.00 163.00 11.00 3736.00 130.00 44.44 0.65 3.72 2.98 51.80
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 663.00 4301.00 2652.00 17204.00 8.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md4 0.00 0.00 4266.00 36.00 17064.00 140.50 8.00 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 4929.00 36.00 19716.00 140.50 8.00 14.56 2.92 0.20 99.60
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 4929.00 36.00 19716.00 140.50 8.00 14.56 2.92 0.20 99.60
（dm-0はフラッシュキャッシュ、dm-2はゲストです）
フラッシュキャッシュレイヤーがすべてのパフォーマンスを破壊しないことを確認するために、フラッシュキャッシュ（dm-0）を無効にして同じテストを再度実行し、ゲスト内でほぼ同じ恐ろしい90〜100MB /秒のパフォーマンスを実現しました。
そのため、何らかの理由で、すべてのパフォーマンスがゲストの内部で行われています。これらの結果は、WindowsおよびLinuxのゲストで得られました。すべてVirtIOを使用し、キャッシュはnoneに設定されています。 IDEを使用すると、パフォーマンスはさらに低下します。
実際、同じフラッシュキャッシュセットアップを使用した単一のディスクまたはRAID1セットアップは、すべてのMDADMRAID-10セットアップよりもはるかに優れています@ KVMこれまで使用しました。MDADMRAID-10はホスト上で優れたパフォーマンスを発揮しますが、内部ではゲストそれはひどいです。
現在、新しいRAID-10アレイを構築していますが、オフセットレイアウトを使用しています。ただし、RAIDドライブ自体が完全にロードされていないため、パフォーマンスの向上は期待できません。100％使用率が確認されているのは個々の「dm-x」LVボリュームだけです。
これらのRAID-10 + LVM + KVMのセットアップがひどく遅い理由はまだ信じられません:(かなりイライラします。
セットアップでLVMをどのように使用するかについての詳細はまったく提供されていません。問題が読み取りに関するものである場合、それらは2つの原因である可能性があります。
まず、LVMスナップショットを使用していないかどうかを確認します。LVMスナップショットは（長期的には）大きくなるにつれて大幅に遅くなる可能性があるためですIO。
次に、ハイパーバイザーが1GのRAM for IOキャッシュを使用しているだけですが、10Gの=はまだありますが、それほど多くはありません。 RAM完全に無料。これは、キャッシュに関するカーネルのパラメーターを微調整し、パフォーマンスを改善しようとしているときにパフォーマンスが低下した可能性があることを示しています。例として、24を実行しているハイパーバイザーの1つのメモリ使用量（MB）を次に示します。 KVM：
total used free shared buffers cached
Mem: 129153 109117 20036 0 588 26664
-/+ buffers/cache: 81865 47288
Swap: 4095 0 4095
ご覧のとおり、IOキャッシュは空きRAMの半分を使用します。