web-dev-qa-db-ja.com

MellanoxとInfinibandのレイテンシ

Voltaire HCA500Ex-D（MT25408 ConnectX Mellanox）10GbitカードをCX43mケーブル経由でCiscoSFS7000dIBスイッチに接続した2台のホストを入手しました。

同じホストを使用する1Gbitイーサネット接続よりも待ち時間が長くなることが本当に心配です。

[root @ localhost〜] ＃ibping -G 0x0008f104039a5589 
 Pong from Host-a。（none）（Lid 3）：time 0.238 ms 
 Pong from Host-a。（none）（Lid 3 ）：時間0.291ms 
ホストからのポン-a。（なし）（蓋3）：時間0.320ミリ秒
ホストからのポン-a。（なし）（蓋3）：時間0.290ミリ秒
ホストからのポン-a。（なし）（蓋3）：時間0.335ミリ秒
ホストからのポン-a。（なし）（蓋3）：時間0.281ミリ秒
ほとんどの人同じIBカードを使用した場合の結果は0.040ms〜0.050msです。

CiscoIBスイッチとカードは最新のファームウェアを実行しています。

2つのホストを連続して接続してみたところ、スイッチが不要になりましたが、遅延はまだ0.200ms以上です

何か案は？

infiniband
2
kobazik

Open Fabrics Enterprise Distribution（OFED） の最新バージョンをダウンロードしてインストールすると、ibdiagnetだけでなく、他のいくつかのIBパフォーマンステストおよびチューニングツールを含むさまざまなツールにアクセスできます。 。これらのツールに加えて、openibdとOpenSM、およびオープンソースのサブネットマネージャーをインストールして構成するオプションが提供されます。

ドキュメントに基づいて、

Cisco SFS7000dIBスイッチ

あなたが言及したのは、独自のオンボードIBサブネットマネージャーを実行しているということです。どちらにもメリットがあります

  1. スイッチのサブネットマネージャーを無効にし、サーバーの1つでOpenSMを構成します

  2. スイッチのサブネットマネージャーの構成がネットワークに適していることを確認します

これらの手順を実行することに加えて、無限帯域での遅延と帯域幅を効果的に測定できる他の多くのテストがあります。メッセージパッシングインターフェイス（MPI）実装（OpenMPI、または独自バージョン）のピンポンベンチマークテストを使用します。これは MPI IBを介したOpenMPIを使用したピンポンテスト のセットアップと構成）の良い例です。

1
Matt

予想よりも高い遅延は、省電力動作の悪さによって異なります。

BIOSと両方のホストのカードドライバの両方で電源管理オプションを無効にしてから、サーバーへの直接接続でpingテストを繰り返します。

それは何かを変えますか？

0
shodanshok