web-dev-qa-db-ja.com

四面体バックツーバックGB-lanトポロジの4 *コモディティクラスター用のコンシューマーボード

このような構成でどのコンシューマーボードを選択するかはよくわかりません。

1つ以上の「Beowulfのようなクラスター」(テスト用のクラスターから開始)を構築することを計画している場合、そのようなクラスターの1つは4つのボックス(商品ソケット- 1156 + i7/875K + 2x2GB 1333)四面体ギガビット-Lanトポロジ(直接バックツーバックXリンク接続)。

下の画像では、A、B、C、またはDという名前の各ボックスに4つのGbit-NICがあり、1つはアップストリームのGbitスイッチを指しています(細い線) )、残りのボックスへの接続用に3つ(各色は2つのNIC間の1つのサブネットを示します):


tetrahedral Gbit setup

これは、64ビットLinuxとOpenMPIを実行する信頼性の高い€2.5K(おそらく安価)の「32ノード」コンピューティングサーバーであることを意味します。サーバーはOpenMPIを介してノードの数値シミュレーションを開始し、ノードはバックツーバック接続を介して通信します。

問題:「トライゴナル」クラスター(3つのノード、それぞれにtwo追加のPCIe-NICおよびオンボードGbit-NIC)successfull1つのボードタイプ( Gigabyte P55A-UD3R )。

私がテストした別のボード( Gigabyte P55A-UD4 )は、ネットワークの全負荷の下で数分後に再現に失敗しました(ただし、-の場合はnot単一ノードモード)。

上記のセットアップでは、4つの同時ギガビットリンクの矢面に立つことができるボードを使用したいと思います。私の三角設定から、各NICはいつでも約50〜80 MB/sを転送することがわかります(iftop)。

  • (上記のような)四面体トポロジーはまったく可能でしょうか?
  • 2つのオンボードギガビット-NICS(高価)を備えたボードを選択する必要がありますか?
  • コンシューマーボード上のPCIeは、4つの同時ギガビットラインを維持できますか?
  • 安価な(パッシブ)PCIe-NICの束は大丈夫ですか?
  • 誰かが似たようなことをし、推奨事項がありますか?

ありがとうございます。それでは、お元気で

rbo

2
rubber boots

NICの品質が問題になる可能性があります。コンシューマーボードのオンボードネットワークは通常、安価なBroadcomまたはRealtekチップセットであり、実際の負荷ではかなりひどいものです。安価な民生用NICにも同様の問題があります。

より優れたIntelチップセットを搭載したスタンドアロンNICは非常に高く評価されています。

コンシューマーボードのPCIeは、この種の帯域幅を問題なく処理できる必要があります。

このためにエンタープライズグレードのNICを購入してください-速度とCPU負荷の両方の点で他の何かがあなたに問題を与えるでしょう(より安いNICはあなたのCPUに処理をオフロードします)。 Intel Gigabit ET2 Quad Port-ServerAdapterのようなものを検討します。

http://www.intel.com/Products/Server/Adapters/Gb-EF-Dual-Port/Gb-EF-Dual-Port-overview.htm

それはあなたに約400ドルを実行します、それは安くはありませんが、あなたが必要とするパフォーマンスをあなたに与えるでしょう。

また、誤ってトラフィックをスイッチに通さないように注意してください。高価なエンタープライズグレードのスイッチがない場合、全負荷で問題が発生する可能性があります。ハードウェアがジャンボフレームをサポートしている場合は、ジャンボフレームをオンにします。

2
Paul McMillan