國產RoCE網卡測試報告

2024-10-11 星融元Asterfusion
1 目標與物理網絡拓撲
2 硬件與軟件環境
3 測試環境部署
- 3.1 網卡驅動部署
4 WRF運行環境部署
5 GRT國產100G RoCEv2網卡
- 5.1 E2E轉發測試
- 5.2 HPC應用測試
6 Femrice國產100G RoCEv2網卡
- 6.1 E2E轉發測試
- 6.2 HPC應用測試
7 測試結果
- 7.1 E2E轉發測試
- 7.2 HPC應用測試

1 目標與物理網絡拓撲

本文主要描述如何在光潤通國產100G RoCEv2網卡（以下簡稱GRT）和飛邁瑞克國產100G RoCEv2網卡（以下簡稱Femrice）搭建的網絡上針對HPC場景進行性能/時延測試，具體方案如下：

E2E轉發測試

測試兩款國產網卡在相同拓撲E2E（End to End）的轉發時延和帶寬，本次方案測試點采用Perftest通信測試工具包進行發包，測試過程遍歷2~8388608字節。

HPC應用測試

本次測試方案在相同場景下運行HPC應用，比較GTP和Femrice兩款國產網卡的運行速度（時間更短）。

1.1 GRT物理拓撲

如上解決方案的IB交換機物理拓撲，如圖1所示：

GRT網卡

圖1：GRT網卡物理網絡拓撲

1.2 Femrice物理拓撲

如上解決方案的Femrice物理拓撲，如圖2所示：

Femrice網卡

圖2：Femrice網卡物理網絡拓撲

1.3 管理口IP規劃

測試過程中涉及到設備的管理網口和業務口的的IP地址如表1所示：

設備名稱	接口	IP地址	備注
Server1	管理口	192.168.4.144	/
	業務口ens1f0	100.0.1.10	GRT網卡RoCEv2模式直連
	業務口ens1f1	100.0.2.10	Femrice網卡RoCEv2模式直連
Server2	管理口	192.168.4.145	/
	業務口ens1f0	100.0.1.11	GRT網卡RoCEv2模式直連
	業務口ens1f1	100.0.2.11	Femrice網卡RoCEv2模式直連

表1：管理口和業務口IP規劃

2 硬件與軟件環境

部署環境中涉及到的硬件和軟件如表2和表3所示：

名稱	型號	硬件指標	數量	備注
服務器	x86	Intel(R) Xeon(R) CPU E5-2678 v3 @ 2.50GHz，48核內存：128G	2	需安裝100G網卡
光模塊	100G	QSFP28	4	無
光纖	多模	100G適用	2	無
Femrice網卡	FM- E810CAM2-QF2	Interl E810-C	2	/
GRT	F1102E-v4.0	Interl E810-C	2	/

表2：硬件環境

名稱	版本	備注
操作系統	CentOS Linux release 7.8.2003 (Core)	無
內核	3.10.0-1127.18.2.el7.x86_64	無
Intel網卡驅動	ice-1.9.11	https://www.intel.cn/
RDMA網卡驅動	irdma-1.11.16.6	https://www.intel.cn/
WRF	WRFV4.0	https://www2.mmm.ucar.edu
LAMMPS	LAMMPS（3 Mar 2020）	https://github.com/lammps/lammps/
Perftest	V4.5-0.20	https://github.com/linux-rdma/perftest

表3：軟件環境

3 測試環境部署

在兩臺Server服務器上，安裝部署HPC兩種測試場景所需的基礎環境。

補充說明：以”[root@server ~]#”為開頭的命令表示兩臺服務器都要執行。

3.1 網卡驅動部署

在兩臺Server服務器上安裝網卡所需的ice和irdma驅動程序以及Perftest測試工具集，網卡驅動安裝完成之后檢查網卡及驅動狀態，確保網卡可以正常使用。

3.1.1 網卡ice驅動程序安裝

[root@Server ~]# wget https://downloadmirror.intel.com/763930/ice-1.9.11.tar.gz
[root@Server ~]# tar zxf  ice-1.9.11.tar.gz
[root@Server ~]# cd ice-1.9.11/src/
[root@Server src]# make install 
[root@Server src]# modinfo ice
[root@Server src]# modprobe ice
[root@Server src]# ethtool -i ens1f0
driver: ice
version: 1.9.11
firmware-version: 3.20 0x8000d84c 1.3146.0
expansion-rom-version: 
bus-info: 0000:02:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

3.1.2 網卡irdma驅動程序安裝

[root@Server ~]# wget https://downloadmirror.intel.com/763932/irdma-1.11.16.6.tgz
[root@Server ~]# tar zxf  irdma-1.11.16.6.tgz
[root@Server ~]# cd irdma-1.11.16.6/
[root@Server irdma-1.11.16.6]# ./build
[root@Server irdma-1.11.16.6]# modprobe irdma
[root@Server ~]# wget https://github.com/linux-rdma/rdma-core/release/download/v42.0/rdma-core-42.0.tar.gz
[root@Server ~]# tar -xzvf rdma-core-42.0.tar.gz
[root@Server ~]# cd rdma-core-42.0/
[root@Server rdma-core-42.0]# patch -p2 < /root/ ice-1.9.11/libirdma-42.0.patch
[root@Server rdma-core-42.0]# cd ..
[root@Server ~]# chgrp -R root rdma-core-42.0/redhat
[root@Server ~]# chgrp -R root rdma-core-42.0/redhat
[root@Server ~]# mkdir -p ~/rpmbuild/SOURCES
[root@Server ~]# mkdir -p ~/rpmbuild/SPECS
[root@Server ~]# cp rdma-core-42.0.tgz ~/rpmbuild/SOURCES/
[root@Server SOURCES]# cd ~/rpmbuild/SOURCES
[root@Server SOURCES]# tar -xzvf rdma-core-42.0.tgz
[root@Server SOURCES]# cp ~/rpmbuild/SOURCES/rdma-core-42.0/redhat/rdma-core.spec ~/rpmbuild/SPECS/
[root@Server SPECS]# cd ~/rpmbuild/SPECS/
[root@Server SPECS]# rpmbuild -ba rdma-core.spec
[root@Server SPECS]# cd ~/rpmbuild/RPMS/x86_64
[root@Server x86_64]# yum install *42.0*.rpm

3.1.2.1 Perfest性能測試工具集

[root@Server ~]# git clone https://github.com/linux-rdma/perftest.git
[root@Server ~]# cd perftest
[root@Server perftest]# ./autogen.sh
[root@Server perftest]# ./configure
[root@Server perftest]# make
[root@Server perftest]# make install

4 WRF運行環境部署

4.1 安裝環境準備

4.1.1 創建文件目錄

[root@Server1 ~]# cd /data/home/wrf01/202302test/
[root@Server1 202302test]# mkdir Build_WRF
[root@Server1 202302test]# mkdir TESTS

4.1.2 安裝編譯器

[root@Server1 ~]# yum -y install gcc cpp gcc-gfortran gcc-g++ m4 make csh

4.1.3 添加環境變量

[root@Server1 ~]# vi ~/.bashrc
export DIR=/data/home/wrf01/202302test/Build_WRF/LIBRARIES
export CC=gcc
export CXX=g++
export FC=gfortran
export CFLAGS='-m64'
export F77=gfortran
export FFLAGS='-m64'
export PATH=$DIR/mpich/bin:$PATH
export PATH=$DIR/netcdf/bin:$PATH
export NETCDF=$DIR/netcdf
export JASPERLIB=$DIR/grib2/lib
export JASPERINC=$DIR/grib2/include
export LDFLAGS=-L$DIR/grib2/lib
export CPPFLAGS=-I$DIR/grib2/include
export LD_LIBRARY_PATH=$DIR/grib2/lib:$LD_LIBRARY_PATH
[root@Server1 ~]# source ~/.bashrc

4.2 安裝三方依賴庫

4.2.1 創建文件目錄

[root@Server1 ~]# cd /data/home/wrf01/202302test/Build_WRF
[root@Server1 Build_WRF]# mkdir LIBRARIES

4.2.2 下載第三方庫

[root@Server1 Build_WRF]# wget \ https://www2.mmm.ucar.edu/wrf/OnLineTutorial/compile_tutorial/tar_files/zlib-1.2.7.tar.gz
[root@Server1 Build_WRF]# wget \ https://www2.mmm.ucar.edu/wrf/OnLineTutorial/compile_tutorial/tar_files/mpich-3.0.4.tar.gz
[root@Server1 Build_WRF]# wget \ https://www2.mmm.ucar.edu/wrf/OnLineTutorial/compile_tutorial/tar_files/netcdf-4.1.3.tar.gz
[root@Server1 Build_WRF]# wget \ https://www2.mmm.ucar.edu/wrf/OnLineTutorial/compile_tutorial/tar_files/jasper-1.900.1.tar.gz
[root@Server1 Build_WRF]# wget \ https://www2.mmm.ucar.edu/wrf/OnLineTutorial/compile_tutorial/tar_files/libpng-1.2.50.tar.gz

4.2.3 編譯安裝zlib

[root@Server1 Build_WRF]# tar xzvf zlib-1.2.7.tar.gz 
[root@Server1 Build_WRF]# cd zlib-1.2.7    
[root@Server1 zlib-1.2.7]# ./configure --prefix=$DIR/grib2
[root@Server1 zlib-1.2.7]# make
[root@Server1 zlib-1.2.7]# make install

4.2.4 編譯安裝libpng

[root@Server1 Build_WRF]# tar xzvf libpng-1.2.50.tar.gz
[root@Server1 Build_WRF]# cd  libpng-1.2.50
[root@Server1 libpng-1.2.50]# ./configure --prefix=$DIR/grib2
[root@Server1 libpng-1.2.50]# make
[root@Server1 libpng-1.2.50]# make install

4.2.5 編譯安裝mpich

[root@Server1 Build_WRF]# tar xzvf mpich-3.0.4.tar.gz 
[root@Server1 Build_WRF]# cd  mpich-3.0.4
[root@Server1 mpich-3.0.4]# ./configure --prefix=$DIR/mpich
[root@Server1 mpich-3.0.4]# make
[root@Server1 mpich-3.0.4]# make install

4.2.6 編譯安裝jasper

[root@Server1 Build_WRF]# tar xzvf jasper-1.900.1.tar.gz 
[root@Server1 Build_WRF]# cd  jasper-1.900.1
[root@Server1 jasper-1.900.1]# ./configure --prefix=$DIR/grib2
[root@Server1 jasper-1.900.1]# make
[root@Server1 jasper-1.900.1]# make install

4.2.7 編譯安裝netcdf

[root@Server1 Build_WRF]# tar xzvf netcdf-4.1.3.tar.gz
[root@Server1 Build_WRF]# cd  netcdf-4.1.3
[root@Server1 netcdf-4.1.3]# ./configure --prefix=$DIR/netcdf \
--disable-dap --disable-netcdf-4 --disable-shared
[root@Server1 netcdf-4.1.3]# make
[root@Server1 netcdf-4.1.3]# make install

4.2.8 依賴庫測試

[root@Server1 Build_WRF]# cd TESTS
[root@Server1 TESTS]# wget \ https://www2.mmm.ucar.edu/wrf/OnLineTutorial/compile_tutorial/tar_files/Fortran_C_NETCDF_MPI_tests.tar
[root@Server1 TESTS]# tar -xf Fortran_C_NETCDF_MPI_tests.tar

測試Fortran+C+NetCDF:
[root@Server1 TESTS]# cp ${NETCDF}/include/netcdf.inc .
[root@Server1 TESTS]# gfortran -c 01_fortran+c+netcdf_f.f
[root@Server1 TESTS]# gcc -c 01_fortran+c+netcdf_c.c
[root@Server1 TESTS]# gfortran 01_fortran+c+netcdf_f.o \  01_fortran+c+netcdf_c.o \-L${NETCDF}/lib -lnetcdff -lnetcdf
[root@Server1 TESTS]# ./a.out

測試Fortran+C+NetCDF+MPI:
[root@Server1 TESTS]# cp ${NETCDF}/include/netcdf.inc .
[root@Server1 TESTS]# mpif90 -c 02_fortran+c+netcdf+mpi_f.f
[root@Server1 TESTS]# mpicc -c 02_fortran+c+netcdf+mpi_c.c
[root@Server1 TESTS]# mpif90 02_fortran+c+netcdf+mpi_f.o 02_fortran+c+netcdf+mpi_c.o -L${NETCDF}/lib -lnetcdff -lnetcdf
[root@Server1 TESTS]# mpirun ./a.out

4.3 安裝WRF

4.3.1 下載WRFV4.0

[root@Server1 ~]# cd /data/home/wrf01/202302test/Build_WRF
[root@Server1 Build_WRF]# wget \ https://www2.mmm.ucar.edu/wrf/src/WRFV4.0.TAR.gz
[root@Server1 Build_WRF]# tar xzvf WRFV4.0.TAR.gz
[root@Server1 Build_WRF]# cd WRF

4.3.2 安裝WRF

[root@Server1 WRF]# ./configure

命令行

[root@Server1 WRF]# ./compile
[root@Server1 WRF]# ls -ls main/*.exe

命令行

4.4 安裝WPS

4.4.1 下載WPSV4.0

[root@Server1 ~]# cd /data/home/wrf01/202302test/Build_WRF
[root@Server1 Build_WRF]# wget \
https://www2.mmm.ucar.edu/wrf/src/WPSV4.0.TAR.gz
[root@Server1 Build_WRF]# tar xzvf WRFV4.0.TAR.gz
[root@Server1 Build_WRF]# cd WPS
[root@Server1 WPS]# ./clean

4.4.2 修改intmath.f文件

[root@Server1 WPS]# cat ./ungrib/src/ngl/g2/intmath.f

命令行

4.4.3 安裝WPS

[root@Server1 WPS]# ./configure
Enter selection [1-40] : 1
[root@Server1 WPS]# ./compile
[root@Server1 WPS]# ls -las *.exe

命令行

max_dom = 1,
 start_date = '2000-01-24_12:00:00',
 end_date   = '2000-01-26_00:00:00',
 interval_seconds = 21600
 io_form_geogrid = 2,
/

&geogrid
 parent_id         =   1,   1,
 parent_grid_ratio =   1,   3,
 i_parent_start    =   1,  31,
 j_parent_start    =   1,  17,
 e_we              =  104, 142,
 e_sn              =  61,  97,
geog_data_res = '10m','2m',
 dx = 30000,
 dy = 30000,
 map_proj = 'lambert',
 ref_lat   =  34.83,
 ref_lon   = -81.03,
 truelat1  =  30.0,
 truelat2  =  60.0,
 stand_lon = -98.0,
 geog_data_path = '/data/home/wrf01/202302test/Build_WRF/WPS_GEOG/WPS_GEOG/'
/

&ungrib
 out_format = 'WPS',
 prefix = 'FILE',
/

&metgrid
 fg_name = 'FILE'
 io_form_metgrid = 2, 
/

4.4.4 下載靜態地理數據

[root@Server1 ~]# cd /data/home/wrf01/202302test/Build_WRF
[root@Server1 Build_WRF]# mkdir WPS_GEOG
下載鏈接：https://www2.mmm.ucar.edu/wrf/users/download/get_sources_wps_geog.html

4.5 WRF可執行文件

4.5.1 下載WPSV4.0

[root@Server1 ~]# cd /data/home/wrf01/202302test/Build_WRF
[root@Server1 Build_WRF]# mkdir DATA
[root@Server1 Build_WRF]# vi WRF/test/em_real/namelist.input
&time_control
 run_days                            = 0,
 run_hours                           = 36,
 run_minutes                         = 0,
 run_seconds                         = 0,
 start_year                          = 2000, 2000, 2000,
 start_month                         = 01,   01,   01,
 start_day                           = 24,   24,   24,
 start_hour                          = 12,   12,   12,
 end_year                            = 2000, 2000, 2000,
 end_month                           = 01,   01,   01,
 end_day                             = 26,   25,   25,
 end_hour                            = 00,   12,   12,
 interval_seconds                    = 21600
 input_from_file                     = .true.,.true.,.true.,
 history_interval                    = 180,  60,   60,
 frames_per_outfile                  = 1000, 1000, 1000,
 restart                             = .false.,
 restart_interval                    = 5000,
 io_form_history                     = 2
 io_form_restart                     = 2
 io_form_input                       = 2
 io_form_boundary                    = 2
 /

 &domains
 time_step                           = 180,
 time_step_fract_num                 = 0,
 time_step_fract_den                 = 1,
 max_dom                             = 1,
 e_we                                = 104,    142,   94,
 e_sn                                = 61,    97,    91,
 e_vert                              = 34,    34,    34,
 p_top_requested                     = 4500,
 num_metgrid_levels                  = 27,
 num_metgrid_soil_levels             = 2,
 dx                                  = 30000, 10000,  3333.33,
 dy                                  = 30000, 10000,  3333.33,
 grid_id                             = 1,     2,     3,
 parent_id                           = 0,     1,     2,
 i_parent_start                      = 1,     31,    30,
 j_parent_start                      = 1,     17,    30,
 parent_grid_ratio                   = 1,     3,     3,
 parent_time_step_ratio              = 1,     3,     3,
 feedback                            = 1,
 smooth_option                       = 0
 /

 &physics
 physics_suite                       = 'CONUS'
 mp_physics                          = -1,    -1,    -1,
 cu_physics                          = -1,    -1,     0,
 ra_lw_physics                       = -1,    -1,    -1,
 ra_sw_physics                       = -1,    -1,    -1,
 bl_pbl_physics                      = -1,    -1,    -1,
 sf_sfclay_physics                   = -1,    -1,    -1,
 sf_surface_physics                  = -1,    -1,    -1,
 radt                                = 30,    30,    30,
 bldt                                = 0,     0,     0,
 cudt                                = 5,     5,     5,
 icloud                              = 1,
 num_land_cat                        = 21,
 sf_urban_physics                    = 0,     0,     0,
 /

 &fdda
 /

 &dynamics
 hybrid_opt                          = 2, 
 w_damping                           = 0,
 diff_opt                            = 1,      1,      1,
 km_opt                              = 4,      4,      4,
 diff_6th_opt                        = 0,      0,      0,
 diff_6th_factor                     = 0.12,   0.12,   0.12,
 base_temp                           = 290.
 damp_opt                            = 3,
 zdamp                               = 5000.,  5000.,  5000.,
 dampcoef                            = 0.2,    0.2,    0.2
 khdif                               = 0,      0,      0,
 kvdif                               = 0,      0,      0,
 non_hydrostatic                     = .true., .true., .true.,
 moist_adv_opt                       = 1,      1,      1,     
 scalar_adv_opt                      = 1,      1,      1,     
 gwd_opt                             = 1,
 /

 &bdy_control
 spec_bdy_width                      = 5,
 specified                           = .true.
 /

 &grib2
 /

 &namelist_quilt
 nio_tasks_per_group = 0,
 nio_groups = 1,
 /

4.5.2 生成地理數據

[root@Server1 WPS]# ./geogrid.exe
[root@Server1 WPS]# ls -lah geo_em.d01.nc

4.5.3 下載并鏈接氣象數據

氣象數據下載網址：https://rda.ucar.edu/。

[root@Server1 Build_WRF]# mkdir DATA
[root@Server1 Build_WRF]# ls -lah ./DATA/JAN00/fnl*

命令行

[root@Server1 Build_WRF]# cd WPS
[root@Server1 WPS]# ./link_grib.csh ../DATA/JAN00/fnl
[root@Server1 WPS]# ln -sf ungrib/Variable_Tables/Vtable.GFS Vtable
[root@Server1 WPS]# ./ungrib.exe
[root@Server1 WPS]# ls -lah FILE*

命令行

4.5.4 融合氣象和地理數據

[root@Server1 WPS]# ./metgrid.exe

4.5.5 鏈接WPS到WRF

[root@Server1 WPS]#  cd ../WRF/test/em_real/
[root@Server1 em_real]# ln -sf ~/Build_WRF/WPS/met_em* .
[root@Server1 em_real]# mpirun -np 1 ./real.exe
[root@Server1 em_real]# ls -alh wrfbdy_d01 wrfinput_d01

5 GRT國產100G RoCEv2網卡

5.1 E2E轉發測試

配置網卡工作模式RoCEv2，使用ib_read_lat和ib_read_bw工具在服務器Server1上建立發包服務端，在Server2上建立發包客戶端，測試GRT網卡直連情況下的帶寬和時延。

5.1.1 基礎配置

[root@Server ~]# rmmod irdma
[root@Server ~]# modprobe irdma roce_ena=1
[root@Server ~]# ibv_devices
    device          	   node GUID
    ------          	----------------
    rdmap2s0f0      	5a53c0fffe790004
irdma1          	5a53c0fffe790005
[root@Server ~]# ibv_devinfo rdmap2s0f0
 
[root@Server1 ~]# ifconfig ens1f0 100.0.1.10 up
[root@Server2 ~]# ifconfig ens1f0 100.0.1.11 up

命令行

[root@Server1 ~]# ifconfig ens1f0 100.0.1.10 up
[root@Server2 ~]# ifconfig ens1f0 100.0.1.11 up

5.1.2 GRT網卡直連

[root@Server1 ~]# ib_read_lat -R -d rdmap2s0f0 -F --report_gbits -a
[root@Server2 ~]# ib_read_lat -a -R -x 5 -d rdmap2s0f0 -F -f 2 100.0.1.10
[root@Server1 ~]# ib_read_bw -R -d rdmap2s0f0 -F --report_gbits -a
[root@Server2 ~]# ib_read_bw -a -R -x 5 -d rdmap2s0f0 -F -f 2 100.0.1.10

5.2 HPC應用測試

在兩臺服務器上使用WRF開源氣象模擬軟件和LAMMPS高分子計算進行數據測試，測試GTR國產網卡完成并行計算運行所需時間。

5.2.1 WRF

使用兩臺服務器每臺12個核心總計24個核心并發運行WRF應用，服務器之間GRT網卡RoCEv2模式直連。

[root@Server1 em_real]# time /usr/mpi/gcc/openmpi-4.1.5a1/bin/mpirun -np 24 -oversubscribe --allow-run-as-root \
--host 100.0.1.10,100.0.1.11  ./wrf.exe

5.2.2 LAMMPS

使用兩臺服務器每臺12個核心總計24個核心并發運行LAMMPS應用，服務器之間GRT網卡RoCEv2模式直連。

[root@Server1 ~]# cd ~/lammps/lammps-stable_3Mar2020/examples/shear
[root@server1 ~]# time /usr/mpi/gcc/openmpi-4.1.5a1/bin/mpirun --allow-run-as-root -np 24 –oversubscribe \
--host 100.0.1.10,100.0.1.11 lmp_mpi \
< /root/lammps/lammps-3Mar20/examples/shear/in.shear

6 Femrice國產100G RoCEv2網卡

6.1 E2E轉發測試

配置網卡工作模式RoCEv2，使用ib_read_lat和ib_read_bw工具在服務器Server1上建立發包服務端，在Server2上建立發包客戶端，測試GRT網卡直連情況下的帶寬和時延。

6.1.1 基礎配置

[root@Server ~]# rmmod irdma
[root@Server ~]# modprobe irdma roce_ena=1
[root@Server ~]# ibv_devices
    device          	   node GUID
    ------          	----------------
    rdmap3s0f0      	5a53c0fffe7608ea
rdmap3s0f1      	5a53c0fffe7608eb 
[root@Server ~]# ibv_devinfo rdmap3s0f0

命令行

[root@Server1 ~]# ifconfig ens1f1 100.0.2.10 up
[root@Server2 ~]# ifconfig ens1f1 100.0.2.11 up

6.1.2 GRT網卡直連

[root@Server1 ~]# ib_read_lat -R -d rdmap2s0f0 -F --report_gbits -a
[root@Server2 ~]# ib_read_lat -a -R -x 5 -d rdmap3s0f0 -F -f 2 100.0.2.10
[root@Server1 ~]# ib_read_bw -R -d rdmap2s0f0 -F --report_gbits -a
[root@Server2 ~]# ib_read_bw -a -R -x 5 -d rdmap3s0f0 -F -f 2 100.0.2.10

6.2 HPC應用測試

在兩臺服務器上使用WRF開源氣象模擬軟件和LAMMPS高分子計算軟件進行數據測試，測試Femrice國產網卡完成并行計算運行所需時間。

6.2.1 LAMMPS

使用兩臺服務器每臺12個核心總計24個核心并發運行LAMMPS應用，服務器之間Femrice網卡RoCEv2模式直連。

[root@Server1 ~]# cd ~/lammps/lammps-stable_3Mar2020/examples/shear
[root@server1 ~]# mpirun --allow-run-as-root -np 24 –oversubscribe \
-host 100.0.1.10,100.0.1.11 lmp_mpi \
< /root/lammps/lammps-3Mar20/examples/shear/in.shear

6.2.2 WRF

使用兩臺服務器每臺12個核心總計24個核心并發運行WRF應用，服務器之間Fmerice網卡RoCEv2模式直連。

[root@Server1 em_real]# time /usr/mpi/gcc/openmpi-4.1.5a1/bin/mpirun -np 24 -oversubscribe --allow-run-as-root \
--host 100.0.1.10,100.0.1.11  ./wrf.exe

7 測試結果

7.1 E2E轉發測試

本次E2E場景測試方案，測試結果如圖3、圖4所示：
Mellanox X-4 100G網卡，網卡時延1.74us。
Femrice Intel E810-C網卡，帶寬4723.19MB/s，網卡時延8.59us。
GRT Intel E810-C網卡帶寬4794.26MB/s，網卡時延9.02us。

國產網卡時延數據

圖3：國產網卡時延數據

國產網卡帶寬數據

圖4：國產網卡帶寬數據

7.2 HPC應用測試

本次HPC應用WRF和LAMMPS測試方案經過多次測試，測試結果3款網卡通過相同應用配置并行計算，國產100G網卡性能低約10%。

CX-N和IB交換機跑HPC應用時間

圖5：CX-N和IB交換機跑HPC應用時間

posted @ 2025-07-03 09:12 LoftyAmbition 閱讀(21) 評論(0) 收藏舉報

刷新頁面返回頂部

honghu0420

國產RoCE網卡測試報告

1 目標與物理網絡拓撲

1.1 GRT物理拓撲

1.2 Femrice物理拓撲

1.3 管理口IP規劃

2 硬件與軟件環境

3 測試環境部署

3.1 網卡驅動部署

3.1.1 網卡ice驅動程序安裝

3.1.2 網卡irdma驅動程序安裝

3.1.2.1 Perfest性能測試工具集

4 WRF運行環境部署

4.1 安裝環境準備

4.1.1 創建文件目錄

4.1.2 安裝編譯器

4.1.3 添加環境變量

4.2 安裝三方依賴庫

4.2.1 創建文件目錄

4.2.2 下載第三方庫

4.2.3 編譯安裝zlib

4.2.4 編譯安裝libpng

4.2.5 編譯安裝mpich

4.2.6 編譯安裝jasper

4.2.7 編譯安裝netcdf

4.2.8 依賴庫測試

4.3 安裝WRF

4.3.1 下載WRFV4.0

4.3.2 安裝WRF

4.4 安裝WPS

4.4.1 下載WPSV4.0

4.4.2 修改intmath.f文件

4.4.3 安裝WPS

4.4.4 下載靜態地理數據

4.5 WRF可執行文件

4.5.1 下載WPSV4.0

4.5.2 生成地理數據

4.5.3 下載并鏈接氣象數據

4.5.4 融合氣象和地理數據

4.5.5 鏈接WPS到WRF

5 GRT國產100G RoCEv2網卡

5.1 E2E轉發測試

5.1.1 基礎配置

5.1.2 GRT網卡直連

5.2 HPC應用測試

5.2.1 WRF

5.2.2 LAMMPS

6 Femrice國產100G RoCEv2網卡

6.1 E2E轉發測試

6.1.1 基礎配置

6.1.2 GRT網卡直連

6.2 HPC應用測試

6.2.1 LAMMPS

6.2.2 WRF

7 測試結果

7.1 E2E轉發測試

7.2 HPC應用測試

公告