FreeBSDでのInfinibandを介したファイル共有

Question

サーバーのペアを持っているので、ネットワークの残りの部分で共有されているスイッチを介するのではなく、互いに直接接続したいと考えています。直接接続によって提供されるレイテンシの低下と帯域幅の拡大（MTUの大幅な増加を含む）の恩恵を期待しています。

どちらのマシンも現在FreeBSD-11.2を実行しており、それぞれに複数のファイルシステムを持つ独自のZFSプールがあります。これらのファイルシステムへの迅速なクロスアクセスは、主要な目的の1つです。

このために、中古のカードを2枚購入しました（ Mellanox IBM 46M2201 Dual Port ConnectX 4X ）。次の質問があります。

接続オプションは何ですか？主な目的はデータの共有です。NFSが唯一の選択肢ですか、それともFreeBSDにはInfiniband固有のものがありますか？
NFSの場合、IPを介する必要がありますか、それとも「より親密な」Infiniband固有のプロトコルがありますか？
NFS over IPの場合、UDPまたはTCPを選択する必要がありますか？直接接続を最大限に活用するためのその他の調整パラメーターはありますか？
これらを直接接続するには、どのタイプのケーブルが必要ですか？驚いたことに、「インフィニバンドケーブル」を検索すると、コネクタが異なるさまざまな製品が返されました。

事前にご意見をお寄せいただき、誠にありがとうございます。これらの質問（の一部）が回答されたオンラインドキュメントがある場合は、リンクを喜んで入手します。見つけることができるものはすべてベンダー固有のようです...

（serversの接続に関するこの質問がServerfault？）

Paul · Accepted Answer

1〜3の答えはありません。答えを見つけるのに役立つInfiniband（IB）アプリケーションに関する追加情報のみです。私は4と答えることができます。

1）接続オプションは何ですか？主な目的はデータの共有です。NFSが唯一の選択肢ですか、それともFreeBSDにはInfiniband固有のものがありますか？

2）NFSの場合、IPを介する必要がありますか、それとも「より親密な」Infiniband固有のプロトコルがありますか？

探すべきキーワードはおそらくRDMA上のNFSですが、簡単な検索でFreeBSDではまだ完全ではないかもしれません。 SRPやiSERを調べることもできますが、これらのIBプロトコルを使用するアプリケーションへの参照は見つかりませんでした。

3）NFS over IPの場合、UDPまたはTCPを選択する必要がありますか？直接接続を最大限に活用するためのその他の調整パラメーターはありますか？

TCP。 FreeBSD IB Wiki によると、IB構成の一部として、TCPを使用するのと同様の接続モードを設定しています。少なくともLinuxの世界では、接続モードを使用する場合、NFS over TCPを使用し、UDPは使用しないでください。NFSover UDPは、データグラムモードを使用する場合にのみ実行する必要があります。どちらも推奨されません。

4）これらを直接接続するには、どのタイプのケーブルが必要ですか？驚いたことに、「インフィニバンドケーブル」を検索すると、コネクタが異なるさまざまな製品が返されました。

「クアッドデータレート」または40Gbpsの略である「QDR」ケーブルが必要です。 ConnectX-3カードはFDR（「14データレート」の略）または56Gbps（14Gbps * 4レーン）を実行します。どちらのケーブルもカードに問題なく機能するはずです。

Mellanoxブランドのケーブルを購入できます。その場合、ケーブルが機能することがわかっているか、ブランド外のものを入手できます。 3Mブランドのケーブルが好きです。これらは、非常に鋭い曲げ半径をサポートするフラットケーブルであり、クロストークなしで非常に小さなスペースにケーブルの束を積み重ねることができます。中古Mellanox QDRケーブルは、eBayで本当に安いはずです。私は中古品を購入したことはありませんが、それを行う場合は、テスト済みのケーブルを入手する必要があります。これと比較するための稼働中のシステムがない場合は、トラブルシューティングが困難です。

ケーブルには、パッシブ（銅）ケーブルとアクティブ（ファイバー）ケーブルの2種類があります。ファイバーケーブルはQSFPコネクタに永続的に接続されているため、特定の長さにする必要があります。銅線の最大長は3メートル、またはたぶん最大5メートル-これ以上、ファイバーケーブルを使用する必要があります。すべてが銅線で100％機能するようになるまで、ファイバーケーブルを入手しないでください。ハードウェアの奇妙な故障モードが原因で、銅線は正常に機能するがファイバーは機能しない例を見てきました。経験とトラブルシューティングを行う部品の在庫ができるまで、その可能性を排除します。

そして今、あなたが求めなかったが、助けるかもしれないいくつかの他のヒント。最初に、いずれかのシステムでopensmを実行していることを確認します。 dhcpサーバーのようなものと考えてください。これがないと、2つのシステムは物理的にリンクしますが、データを渡しません。

次に、someMellanoxカードは、IBモードまたはイーサネットモードで動作します。これらは通常、VPIシリーズのカードです。 ConnectX-2でそれがオプションだったのか、それともカードがそれをサポートしているのかはわかりません。ただし、そうした場合、それらのカードをQDR IBではなく40GBEとして実行し、NFSのパフォーマンスを向上させる方が簡単な場合があります。 Linuxでの私の経験では、IPoIBのパフォーマンスはワイヤ速度で約20〜30％です。 RDMAのようなIBプロトコルを使用するか、イーサネットモードに切り替えることで、ワイヤスピードが得られます。