web-dev-qa-db-ja.com

Cephは遅すぎますか？それを最適化する方法は？

セットアップは、計算用の3つのクラスター化されたProxmox、3つのクラスター化されたCephストレージノード、

ceph01 8 * 150GB ssds（OSに1つ、ストレージに7つ）
ceph02 8 * 150GB ssds（OSに1つ、ストレージに7つ）
ceph03 8 * 250GB ssds（OSに1つ、ストレージに7つ）

Cephストレージを使用してproxmoxノードでVM）を作成すると、速度が低下します（ネットワーク帯域幅はボトルネックではありません）

VM where hdd in Cephに書き込む

[root@localhost ~]# dd if=/dev/zero of=./here bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 46.7814 s, 23.0 MB/s

[root@localhost ~]# dd if=/dev/zero of=./here bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 15.5484 s, 69.1 MB/s

VM where hdd in proxmoxに書き込む
比較のために、以下はVM on proxmox、ssd same modal、

[root@localhost ~]# dd if=/dev/zero of=./here bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 10.301 s, 104 MB/s

[root@localhost ~]# dd if=/dev/zero of=./here bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 7.22211 s, 149 MB/s

私はセフプールの下にあります

size/min = 3/2
pg_num = 2048
ruleset = 0

同じホストで3台のモニターを実行すると、ジャーナルはそれぞれのOSDに保存されます。CephHammerで最新のproxmoxを実行します。

改善のためにどこを見るべきかについての提案はありますか？ Cephプールですか？ジャーナルですか？ JournalがOS（/ dev/sda）またはOSD（/ dev/sdX）と同じドライブにあるかどうかは重要ですか？

performanceproxmoxceph
1
fcukinyahoo

私もCEPHHammerでクラスターを実行しています。 OSDをファイルストア形式で実行する場合、SSDをOSDとして使用している場合でも、ジャーナルにNVMeを使用する必要があります。

1
MaksaSila

MTUを9000に設定し、I/Oスケジューラをnoopに変更することで、ディスクスループット（MB /秒）を増やすことができます。

1
mrmainnet