2台のマシンが7フィートのCat6aイーサネットケーブルで直接接続されています(NICカードのボックスに含まれています)。PCIex4NIC I購入し、両方のマシンでこれは次のとおりです: https://www.Amazon.com/gp/product/B07CW2C2J1
これら2台のマシン間でほぼ正確に2500Mbpsの転送が行われる理由をデバッグしようとしています。 10Gbpsに近づけるために見落としているヒントや明らかなエラーはありますか?
これが私がテストしたものです:
マシンAifconfig
:
enp7s0 Link encap:Ethernet HWaddr 24:5e:be:2c:c1:53
inet addr:2.0.0.20 Bcast:2.0.0.255 Mask:255.255.255.0
inet6 addr: fe80::265e:beff:fe2c:c153/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:17225416 errors:0 dropped:0 overruns:0 frame:0
TX packets:7021731 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:25712055299 (25.7 GB) TX bytes:9701557546 (9.7 GB)
マシンAip link
:
3: enp7s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000
link/ether 24:5e:be:2c:c1:53 brd ff:ff:ff:ff:ff:ff
マシンAethtool enp7so
:
Settings for enp7s0:
Supported ports: [ TP ]
Supported link modes: 100baseT/Full
1000baseT/Full
10000baseT/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: Yes
Advertised link modes: 100baseT/Full
1000baseT/Full
10000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Speed: 10000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 0
Transceiver: external
Auto-negotiation: on
MDI-X: Unknown
Supports Wake-on: g
Wake-on: g
Link detected: yes
マシンBifconfig
:
enp101s0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 2.0.0.10 netmask 255.255.255.0 broadcast 2.0.0.255
inet6 fe80::265e:beff:fe2c:c0dc prefixlen 64 scopeid 0x20<link>
ether 24:5e:be:2c:c0:dc txqueuelen 1000 (Ethernet)
RX packets 2332894765 bytes 3532248694886 (3.5 TB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 107128853 bytes 32005739542 (32.0 GB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
マシンBip link
:
3: enp101s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000
link/ether 24:5e:be:2c:c0:dc brd ff:ff:ff:ff:ff:ff
マシンBethtool enp101s0
:
Settings for enp101s0:
Supported ports: [ TP ]
Supported link modes: 100baseT/Full
1000baseT/Full
10000baseT/Full
2500baseT/Full
5000baseT/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 100baseT/Full
1000baseT/Full
10000baseT/Full
2500baseT/Full
5000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Speed: 10000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 0
Transceiver: internal
Auto-negotiation: on
MDI-X: Unknown
Link detected: yes
一方のマシンの/dev/zero
でもう一方のマシンの/dev/null
にnetcatを実行しました(B-> A):
3.15GiB 0:00:09 [ 353MiB/s]
また、2つのウィンドウサイズ(デフォルトの64kと256k未満)でifperfを実行したところ、同じ結果が得られました。
iperf -s -w 256k
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 416 KByte (WARNING: requested 250 KByte)
------------------------------------------------------------
[ 4] local 2.0.0.10 port 5001 connected with 2.0.0.20 port 55364
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 2.85 GBytes 2.45 Gbits/sec
転送でネットワーク変数を確認して削除するためにテストするだけです。
cat /dev/zero | pv > /dev/null
21.0GiB 0:00:04 [5.18GiB/s]
同じ問題に一度直面したことを覚えています。それはすべてLROとGROに関連していました。両端でラージレシーブオフロードとジェネリックレシーブオフロードを無効にして、変更が加えられるかどうかを確認することをお勧めします。
以下を実行して、それらを一時的に無効にします。
ラージレシーブオフロード
ethtool -K enp101s0 lro off
ethtool -K enp7s0 lro off
generic-receive-offload
ethtool -K enp101s0 gro off
ethtool -K enp7s0 gro off
以下を実行することにより、実際に変更を確認します。
ethtool -k enp7s0
-k -K、大文字は変更を行い、小文字は単に値を出力することに注意してください
私は常に10個のNICでGROとLROを無効にします。
あなたはここでもっと読むことができます: https://lwn.net/Articles/358910/
ただし、無効にして速度が変わるかどうかを確認してください。変わる場合は、/ etc/network/interfacesに永続的な変更を加える手順を説明します。