web-dev-qa-db-ja.com

仮想化されたSR-IOVInfinibandインターフェイスをUPする方法は？

私はこれに数日を費やしており、最新のファームウェアを使用してSR-IOVをMellanox Infinibandカードで動作させることができました。

仮想関数はDom0に次のように表示されます

06：00.1ネットワークコントローラー：Mellanox TechnologiesMT27500ファミリー[ConnectX-3仮想機能] 06：00.2ネットワークコントローラー：Mellanox TechnologiesMT27500ファミリー[ConnectX-3仮想機能] 06：00.3ネットワークコントローラー：Mellanox TechnologiesMT27500ファミリー[ConnectX-3仮想機能] 06：00.4ネットワークコントローラー：Mellanox TechnologiesMT27500ファミリー[ConnectX-3仮想機能]

次に、Dom0から06：00.1を切り離して、xen-pcibackに割り当てました。

これをXenテストドメインに渡しました。

テストDomU内のlspciは以下を示します。

00：01.1ネットワークコントローラ：Mellanox Technologies MT27500ファミリ[ConnectX-3仮想機能]

DomUに次のモジュールを読み込んでいます

mlx4_ib
rdma_ucm
ib_umad
ib_uverbs
ib_ipoib

mlx4ドライバーのdmesg出力は次のとおりです。

[   11.956787] mlx4_core: Mellanox ConnectX core driver v1.1 (Dec, 2011)
[   11.956789] mlx4_core: Initializing 0000:00:01.1
[   11.956859] mlx4_core 0000:00:01.1: enabling device (0000 -> 0002)
[   11.957242] mlx4_core 0000:00:01.1: Xen PCI mapped GSI0 to IRQ30
[   11.957581] mlx4_core 0000:00:01.1: Detected virtual function - running in slave mode
[   11.957606] mlx4_core 0000:00:01.1: Sending reset
[   11.957699] mlx4_core 0000:00:01.1: Sending vhcr0
[   11.976090] mlx4_core 0000:00:01.1: HCA minimum page size:512
[   11.976672] mlx4_core 0000:00:01.1: Timestamping is not supported in slave mode.
[   12.068079] <mlx4_ib> mlx4_ib_add: mlx4_ib: Mellanox ConnectX InfiniBand driver v1.0 (April 4, 2008)
[   12.184072] mlx4_core 0000:00:01.1: mlx4_ib: multi-function enabled
[   12.184075] mlx4_core 0000:00:01.1: mlx4_ib: operating in qp1 tunnel mode

Ib0デバイスも表示されています。

ib0       Link encap:UNSPEC  HWaddr 80-00-05-49-FE-80-00-00-00-00-00-00-00-00-00-00  
          inet addr:10.10.10.10  Bcast:10.10.10.255  Mask:255.255.255.0
          UP BROADCAST MULTICAST  MTU:2044  Metric:1
          RX packets:117303 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:256 
          RX bytes:6576132 (6.5 MB)  TX bytes:0 (0.0 B)

ローカルで10.10.10.10にpingすることもできます。

ただし、これらのpingはインフィニバンドファブリックでは送信されません。

リンクがダウンしているためと思われます。 ibstatの表示：

CA 'mlx4_0'
    CA type: MT4100
    Number of ports: 1
    Firmware version: 2.30.3000
    Hardware version: 0
    Node GUID: 0x001405005ef41f25
    System image GUID: 0x002590ffff175727
    Port 1:
        State: Down
        Physical state: LinkUp
        Rate: 10
        Base lid: 9
        LMC: 0
        SM lid: 1
        Capability mask: 0x02514868
        Port GUID: 0x0000000000000000

どうすれば起動できますか？ domUリンクはUPですが、VFリンクはアップしていませんか？

そして答えは実際にここにあります：このリンクによると： http://www.spinics.net/lists/linux-rdma/msg13307.html

スレーブVFのポートをアクティブにするには何が必要ですか？別のボックスでopensm3.3.13を実行していますが、それで十分ですか？ （SR-IOVにはSMサポートが必要ですか？）

はい、Halが述べたように、エイリアスをサポートする最初のバージョンであるため、少なくともopensm 3.3.14（ http://marc.info/?l=linux-rdma&m=133819320432335&w=2 ）が必要です。 -SRIOV、3.3.15に必要なguid et alのものもリリースされたので、これをサポートする2番目のバージョンが必要です...基本的に、PPFとスレーブのIBリンクを使用して、エイリアスguidを登録する必要があります。 SM。私たち（ILチーム）は休日の火曜日/水曜日を休んでいましたが、今夜は詳細を伝えようとします。

OpenSMをアップグレードしました。すぐに報告します。

編集：OK、それは今働いています。ただし、opensmのログが爆発します。 OpenSMプロセスは、毎秒数百のエントリを次の形式で書き込みます。

Sep 30 20:36:26 707784 [7DC1700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 707810 [7DC1700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID
Sep 30 20:36:26 708096 [8DC3700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 708119 [8DC3700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID
Sep 30 20:36:26 708391 [FF5B0700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 708421 [FF5B0700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID
Sep 30 20:36:26 708696 [3DB9700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 708719 [3DB9700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID

そして、上記のエラーメッセージは、再起動してDom0にメモリを追加すると消えました。現在、自動バルーンをオフにして2GBを割り当てています。 残念ながら、彼らは明白な理由もなく戻ってきました。だから私はそれに関連する新しい質問をしました ここ

なぜそれがdom0で機能するのかはよくわかりませんが、私の場合は、VFを持つDom0でOpenSMを実行する必要があります。これは、Dom0で実行されているOpenSMインスタンスがVFを認識しており、別のノードのサブネットマネージャーが認識していないのに、VFをアドバタイズできるためだと思いますか？それは私の推測です。他のxenノードがVFも取得することを願っています。それは別の質問になるかもしれません。今のところ、単一のXenノードで動作しています。

linuxvirtualizationxensr-iov
9
Matt

状態を表示するには、OpenSMをハイパーバイザーホストにインストールして開始する必要があります。次に、オプションPORTS = "ALL"を指定してOpenSMの起動を開始します。

1
Danila Ladner