InfiniBandストレージ
中規模ストレージの次の再構築を検討しています。現在、AoE経由で共有されている約30TBです。私の主なオプションは次のとおりです。
- そのままにしてください。それはまだしばらくの間成長する可能性があります。
- ISCSIに移行します。現在は少し遅いですが、より多くのオプションがあります
- ファイバチャネル。
- InfiniBand。
個人的には、InfiniBandホストアダプターの価格/パフォーマンスが好きで、Supermicro（私の好みのハードウェアブランド）のほとんどの製品にはオプションとしてIBがあります。
Linuxにはしばらくの間IPoIBドライバーがありました。しかし、ストレージのよく知られた使用法があるかどうかはわかりません。 iSCSI over IBに関するほとんどのコメントは、iSERと、一部のiSCSIスタックでサポートされていない方法について説明しています。
それで、Linuxサーバーの共有ストレージにIBを使用する方法について誰かがいくつかの指針を持っていますか？イニシエーター/ターゲットプロジェクトはありますか？単純にiSCSIover IPoIBを使用できますか？
つまり...ほとんどの人が実際に考えていないのは、イーサネットとIBがパケットを配信する方法です。一方で、イーサネットは本当に簡単で、どこにでもあります。しかし、パケット管理は自動魔法ではなく、保証された配信でもありません。確かに、最新のスイッチングは優れています！パケットロスは、昔の問題ではなくなりました。ただし、実際にイーサネットをプッシュすると、パケットがそこでループし始めます。彼らはどこに行けばいいのか本当にわからないようなものです。最終的に、パケットは本来の場所に到達しますが、ループによって引き起こされる遅延はすでに発生しています。 ISパケットを誘導して目的の場所に移動させる方法はありません。
Infinibandは保証付き配信を使用します。パケットとパケット配信はアクティブに管理されます。表示されるのは、IBのパフォーマンスがピークに達し、ときどきスクエアサインのように低下することです。ドロップはミリ秒単位で終了します。その後、パフォーマンスは再びピークに達します。
Etherenetもピークに達しますが、使用率が高いと苦労します。スクエアサインの代わりに、ドロップオフしてから、ピークパフォーマンスにステップバックするのにしばらく時間がかかります。左側が階段、右側がまっすぐなドロップのように見えます。
これは、エンジニアがイーサネットオーバーIBを選択する大規模なデータセンターでは簡単であるため問題です。次に、データベース管理者とストレージエンジニアは、パフォーマンスの問題について互いに非難し、前後に戦います。そして、彼らが答えをネットワークチームに求めるとき、ほとんどのツールは「平均的な」ネットワーク使用が最高のパフォーマンスではないことを認識しているため、問題は回避されます。この動作を確認するには、パケットを監視する必要があります。
ああ！イーサネット経由でIBを選択するもう1つの理由があります。各IB（FDR）ポートは56 Gb/sになります。 1つのIBポートごとに（6）10Geポートを結合する必要があります。つまり、A-LOT-LESSケーブル接続です。
ちなみに...金融、データウェアハウス、バイオロジック、または大規模なデータシステムを構築する場合、多くのIOPS +帯域幅+低遅延+メモリ+ CPUが必要です。それらのいずれかを取り出すことはできません。そうしないと、パフォーマンスが低下します。 Oracleからオールフラッシュストレージに最大7Gバイト/秒をプッシュすることができました。私の最速の全表スキャンは、13秒で60億行でした。
トランザクションシステムは総帯域幅を縮小できますが、それでも前の段落で説明した他のすべてのコンポーネントが必要です。理想的には、パブリックネットワークには10Geを使用し、ストレージとインターコネクトにはIBを使用します。
ただ私の考え...ジョン
IPoIBを介してInfiniBand上でiSCSIを実行することは可能ですが、iSERおよびSRPプロトコルにより、InfiniBandネットワークでのパフォーマンスが大幅に向上します。 Linux用のiSER実装は tgt プロジェクトから入手でき、Linux用のSRP実装は [〜＃〜] scst [〜＃〜] プロジェクトから入手できます。 Windowsサポートについて：現時点では、Windowsで使用できるiSERイニシエータードライバーはありません。ただし、Windows用のSRPイニシエータードライバーは、winOFEDソフトウェアパッケージで入手できます（openfabrics.org Webサイトも参照してください）。
MellanoxNICを使用してIB SANを処理する必要がありました。RHELですぐに使用できます。
IBの遅延のメリットが必要ですか、それともネットワークとストレージの何らかの形の組み合わせを探しているだけですか？前者の場合、選択の余地はありません。IBは優れていますが、管理が難しい場合があります。FCは優れた動作をし、素晴らしく高速ですが、少し「古い帽子」を感じることがあります。すべての影響を考慮すると、iSCSIは優れたソリューションになる可能性があります。もし私があなたなら、Cisco NexusLANスイッチとコンバージドネットワークアダプターを介してFCoE経由でFCストレージを利用します。
NFS overRDMAはFedoraLinuxで素晴らしい働きをします
設定はとても簡単です。適切なrpmをインストールし、いくつかのファイルを微調整します。指示を見つけるためにただグーグル。
Mellanox MT25208 PCIe-x8 infinibandカードを使用し、最新のファームウェアにフラッシュしました。 2枚のカードと15Mケーブルの総コスト：150ドル。その価格で「市場採用」を気にする人。
Smokinの帯域幅、400 MBytes /秒をはるかに超え、クライアントまたはサーバーでのCPU使用率はごくわずかです。ボトルネックはRAIDコントローラーです。
ボーナスとして、X over IPOIBもスモーキンであり、アプリがローカルであることを誓います。
10ギガビットイーサネットはどうですか？インターフェースがエキゾチックであるほど、ドライバーを見つけてバグを追い払うのに苦労し、すべてが高価になります。
わかりました-すべてがcx4ケーブル距離（15メートル）内にあることを考えると、これは安価な要約です：
（私はウェブページにあるドルと定価を使用しています。ベンダーの価格も米ドルであると想定しています）
- スイッチ ：$ 5222
- cx4インターフェイスを備えた10ギガカード ：$ 495 x12
- cx4ケーブル ：$ 82 x6 + $ 165 x6
- 総計：12,700ドル
Infinibandはそれほど安いですか？
（注意してください-私は実際にこのギアを使用したことはありません、私はグーグルの30秒後にグーグルにポップアップするものだけを通ります。私は確かにそれを承認したり、それが何か良いことをすることを推奨したりしません悪い）
専用の6ポートスイッチ（HP 6400cl-6XG-2200ドル）とIntelデュアルポートCX4 NIC（Intel EXPX9502CX4-650ドル）を備えた10ギガビットiSCSIを使用して、同じ問題に取り組みました。サーバーあたりのコストはNICと100ドルのCX4ケーブルになりました。この場合、Linux、Windows、OpenSolarisが混在する環境でドライバーなどを動作させるために必要なものはほとんどありませんでした。
SAN）を構築する際のIBの難しさは、srpターゲットを管理することです。利用可能なビルド済みソリューションはほとんどなく、ほとんどが高価です。Open-Eなどの製品がネイティブIBサポートを導入した場合ソフトウェア（特にsrp）を使用すると、ハードウェアソリューションが簡単になります。クライアント側はRHELでのセットアップが非常に簡単で、完全に機能します。現在、600MB/sで一貫して高負荷で実行されている、テストシステムが稼働しています。 。パフォーマンスは素晴らしく、利用可能な帯域幅が大きいため、安心と柔軟性が得られます。はい、アレイの速度には制限がありますが、IBを使用すると、パフォーマンスを損なうことなく複数のアレイを接続できます。バックアップに1つ使用してください。 1つはメインストレージなどに使用し、パフォーマンスを損なうことなく同時に使用します。私の経験では、IPのない純粋なRDMAストレージネットワークとして、IBに勝るものはありません。買い物をすると、何かをセットアップできます。非常にリーズナブルな価格。誰かがOpen-Eに似たいくつかのストレージアプライアンスソフトウェアを導入し、完全なSCST SRPターゲットをサポートすることで、主流の市場をIBに開放し、私は非常に満足しています。