web-dev-qa-db-ja.com

VMwareのディスクイメージを格納するNFSに最適なファイルシステムの選択

現在、iSCSI SANをいくつかのVMware ESXiサーバーのストレージとして使用しています。追加の仮想マシン用にLinuxサーバーでNFSターゲットを使用することを調査しています。また、重要な利点を提供する場合は、代替オペレーティングシステム（OpenSolarisなど）。

非常に大きな連続ファイル（VMwareのディスクイメージなど）を支持するLinuxベースのファイルシステムはどれですか。あるいは、この種のワークロードのためにOpenSolarisでZFSをどのように見つけましたか？

（この質問は 元はSuperUserで尋ねられました ;方法がわかっている場合は、ここで回答を自由に移行してください）。

linuxvmware-esxinfsopensolariszfs
11
mlambie

ZFSを確認することをお勧めしますが、適切なパフォーマンスを得るには、専用デバイスをZFSインテントログ（ZIL）として取得する必要があります。基本的に、これは非常に高速（20〜100K IOPS）で書き込み可能な小さなデバイス（数GB）です。これにより、ZFSは書き込みがストレージに同期されたことをすぐに確認できますが、実際にハードディスクへの書き込みをコミットするまで最大30秒待機します。あなたのプール。クラッシュ/停止の場合、ZILのコミットされていないトランザクションはマウント時に再生されます。その結果、UPSに加えて、停電時に保留中のIOが永続的なストレージになるように、内部電源/スーパーキャパシタを備えたドライブが必要になる場合があります。専用のZILデバイスを選択した場合、書き込みで待ち時間が長くなり、あらゆる種類の問題が発生する可能性があります。 Sunの18 GB書き込みに最適化されたSSD「Logzilla」が8200ドル以下であることに興味がないと仮定すると、より安価な代替手段がいくつかあります。

  • DDRDrive X1 -ZIL用に明示的に設計されたPCIe x1カードの4GB DDR2 + 4GB SLCフラッシュ。書き込みはRAMに送られます。電力損失が発生した場合は、RAMがスーパーキャパシターによって電力供給されている60秒未満でNANDに同期します。（50k-300k IOPS、$ 2000ダイレクト、.eduの場合は$ 1500）
  • Intel X25-E 32GB 2.5インチSSD（SLC、ただしスーパーキャップなし、3300書き込みIOPS）; [Amazon 390ドル] [11]
  • OCZ Vertex 2 Pro 40GB 2.5インチSSD（スーパーキャップ、ただしMLC、20k〜50k書き込みIOPS）; アマゾン$ 435 。

OpenSolaris/Nexenta + ZFSのセットアップが完了したら、OpenSolarisとESXのボックス間でブロックを移動する方法はかなりたくさんあります。何が適切かは、既存のインフラストラクチャ（L3スイッチ、ファイバーカード）と優先順位（冗長性、遅延、速度、コスト）に大きく依存します。しかし、iSCSI/FC/NFS機能のロックを解除するための特別なライセンスは必要ないため、ハードウェアを持っているものは何でも評価でき、お気に入りを選択できます。

  • iSCSIターゲット（CPUオーバーヘッド。OpenSolarisではTOEサポートなし）
  • ファイバーチャネルターゲット（ファイバーカードは安くない）
  • NFS（VMWare + NFSは扱いにくい場合があり、32マウントに制限されます）

評価に500ドルを費やすことができない場合は、 ZILを無効にした場合としない場合のテスト を実行して、ZILがボトルネックかどうかを確認します。 （おそらくそうです）。 本番環境ではこれを行わないでください。大量のRAMとL2ARC用のSSDがない限り、まだZFS重複排除をいじらないでください。設定を取得したら、それは間違いなくいいですが、dedupで遊ぶ前に、必ず NFSチューニング を試してみてください。 1〜2 Gbのリンクで飽和状態になると、8 gb FC、10 gigE、およびinfinibandで成長の機会がありますが、評価のためにもそれぞれに多大な投資が必要です。

13
notpeter

私は正確にはこれをしません。私の経験では、Linux（特にCentOS 3/4/5）は、NFSサーバーには一般的に不適切な選択です。私はいくつか持っていて、負荷がかかると、レイテンシとスループットは頭をうまく動かすことができない理由で低下する傾向があることを発見しました。

私たちのケースでは、バックツーバックのLinuxのパフォーマンスをSolaris（Ultra-SPARC）およびNetAppと比較していました。どちらも、Apple間のパフォーマンスと、「サーバーに負荷がかかっているときの待機時間についてエンジニアが不満を言っていない」という曖昧な言葉で結果を返しました。 Linux NFSサーバーをチューニングする試みが複数ありました。 NetAppsとSolarisシステムはどちらもそのままの状態で動作しました。また、関係するSolarisシステムとNetAppシステムの両方が古いため、Linuxサーバーはすべての利点を備えていたと主張でき、それでも説得力に失敗しました。

時間があれば、同じハードウェアをOpenSolaris（現在、Solarisは効果的に高すぎるため使用できない）、Linux、およびおそらくBSDバリアントでセットアップし、それらを競合させることは、実験する価値があります。パフォーマンスメトリック（VMストアでホストされているディスクI/Oカウントなど）を思い付くことができる場合）は、興味深いホワイトペーパーまたはインターネットの記事になるかもしれません。時間がある。）

一般的にNFSに関して、ネットアップの人々は、NFSはVMのパフォーマンスで5〜10％のコストしかかけないことをベンチマークが示していることを何度か教えてくれました。そもそもそれ。

しかし、私はそのすべての時間と涙の後、私たちの非ローカル生産VMストアはすべて、ほとんどがNetAppからのiSCSIによって供給されていることを告白する必要があります。

2
David Mackintosh

VMWare ESXiサーバーにNFSを提供するために、OpenSolaris 2009/06とRAID 10 ZFS構成を使用しています。これまでのところ、私たちのニーズにはかなりうまくいきます。 SATA RAIDタイプのドライブ（Seagate ES.2 1TBドライブ）を使用しています。ただし、まだ調整が必要です。

2
tegbains

私はVMwareのNFSデータストアの大ファンです。NetAppは優れた実装を持っています。

TR-3808 NetApp FC、iSCSI、およびNFS接続の共有データストアのスケーリングを比較します。これは優れた読み取りです。

2
chamdor