[Mellanox] 安裝MFT并配置網卡為以太網模式

當我們想要配置Mellanox網卡時，如果出現了下面情況：

$ sudo mst start
mst: command not found

這說明我們的系統中缺少MFT。

MFT是一套管理Mellanox網卡的工具，也是MLEX_OFED中的一部分。如果你不小心搞丟了MFT，可以用下面的方法安裝：

• 去官網下載MFT

Mellanox Firmware Tools (MFT) (nvidia.com)

我下的版本是4.22.1 LTS Linux DEB x64

tar xvf mft-4.22.1-11-x86_64-deb.tgz
cd mft-4.22.1-11-x86_64-deb
sudo bash install.sh
sudo mst start

如果不報錯就說明MFT裝好了。

默認地，你的網卡應該是IB模式，如果你的網絡是以太網的話，你就需要將網卡轉換為以太網模式：

• 查看你的設備名稱

$ ls /dev/mst
mt4119_pciconf0  mt4119_pciconf0.1

• 查看設備的狀態

$ sudo mlxconfig -d /dev/mst/mt4119_pciconf0 query

Device #1:
----------

Device type:    ConnectX5       
Name:           MCX556A-ECA_Ax  
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0

Configurations:                                      Next Boot
		 ...
         LINK_TYPE_P1                                IB(1)
         LINK_TYPE_P2                                IB(1)
         ...

可以看到LINK_TYPE_P1和LINK_TYPE_P2的配置都是IB。

• 將設備切換到以太網模式

$ sudo mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Device #1:
----------

Device type:    ConnectX5       
Name:           MCX556A-ECA_Ax  
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0

Configurations:                                      Next Boot       New
         LINK_TYPE_P1                                IB(1)           ETH(2)          
         LINK_TYPE_P2                                IB(1)           ETH(2)          

 Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

• 重啟設備

sudo reboot

現在網卡已經變成以太網模式的了，可以通過下面幾種命令查看

$ ibdev2netdev
mlx5_0 port 1 ==> ens10f0 (Down)
mlx5_1 port 1 ==> ens10f1 (Up)
$ ifconfig
ens10f0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        ether 10:70:fd:2f:e4:40  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens10f1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet6 fe80::9a81:307c:1222:53bc  prefixlen 64  scopeid 0x20<link>
        ether 10:70:fd:2f:e4:41  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 45  bytes 7117 (7.1 KB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
$ ibstat
CA 'mlx5_0'
		...
        Port 1:
        		...
                Link layer: Ethernet
CA 'mlx5_1'
		.
        Port 1:
        		...
                Link layer: Ethernet