文章目录
InfiniBand 简介：环境检测：基于 Ubuntu 16.04 安装 IB 驱动:1、下载 IB 驱动包：2、开始安装:2.1、上传减压 tgz 包并且安装：2.2、重新加载驱动:2.3、查看及配置 IB2.4、当更改了配置的时候要记得重启服务：
这里是我自己写的 一个关于 “RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装IB驱动、RDMA测试” 等的一个学习目录；可以更方便的进行学习及文章的查找：
学习目录：RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装IB驱动、ib_read/write_bw测试
InfiniBand 简介：
InfiniBand —— 是一种技术，直译为 “无限带宽” 技术（简称 IB ）； 是一个用于高性能计算的计算机网络通信标准，它具有极高的吞吐量和极低的延迟，用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连，以及存储系统之间的互连。
其次，inifiniband 也是一种 新的 网络通信协议（所谓网络通信协议就是 —— 一种网络通用语言：是不同操作系统、不同硬件之间提供通信支持的协议）；提供了一种基于 交换 的架构，infiniband 通过交换机在节点之间直接的创建了一个 私有的、受保护的 通道，来进行数据和消息的传输，特点：无需CPU参与、直接通过 RDMA（直接内存访问）
更多介绍：包括概念及作用
环境检测：
千万注意：要先进行环境的检测，检测你的环境是否安装了IB卡！
关于IB卡
root@ubuntu
:~$ lspci
|grep Mell
0b
:00.0 Network controller
: Mellanox Technologies
MT27500 Family
[ConnectX
-3]
# 如果你用 lspci 查不到 Mell 的信息，说明你的服务器上就没有
IB卡，也不需要配置接下来的
IB 驱动了。
# 只能换有
IB卡的服务器进行接下来的环节
基于 Ubuntu 16.04 安装 IB 驱动:
1、下载 IB 驱动包：
另一个文章里面写了，这里就不写了：
戳我下载 IB 驱动包：什么版本的都有哦！
2、开始安装:
2.1、上传减压 tgz 包并且安装：
root@master
:~# ls
MLNX_OFED_LINUX-4.7-1.0.0.1-ubuntu16
.04-x86_64
.tgz
root@master
:~# tar zxvf
MLNX_OFED_LINUX-4.7-1.0.0.1-ubuntu16
.04-x86_64
.tgz
root@master
:~# cd
MLNX_OFED_LINUX-4.7-1.0.0.1-ubuntu16
.04-x86_64
/
root@master
:~/MLNX_OFED_LINUX-4.7-1.0.0.1-ubuntu16
.04-x86_64# ls
common_installers
.pl
DEBS_UPSTREAM_LIBS mlnx_add_kernel_support
.sh uninstall
.sh
common
.pl distro mlnxofedinstall
create_mlnx_ofed_installers
.pl docs
RPM-GPG-KEY-Mellanox
DEBS LICENSE src
root@master
:~/MLNX_OFED_LINUX-4.7-1.0.0.1-ubuntu16
.04-x86_64#
./mlnxofedinstall
--force
/--all (你可以选择
--force 或
--all 进行安装
)
看到这个红色的不要紧张，它是在卸载旧的安装包，并且下载新的所需要的包，过程有点缓慢请耐心等待…
该程序将在您的计算机上安装 MLNX_OFED_LINUX 软件包。 请注意，将删除所有其他Mellanox，OEM，OFED，RDMA或Distribution IB软件包。 这些软件包由于与 MLNX_OFED_LINUX 冲突而被删除，请不要重新安装它们。
检查软件要求… 缺少用于安装MLNX_OFED_LINUX的一个或多个必需软件包。 尝试安装以下缺少的软件包： libltdl-dev swig libgfortran3 bison gfortran flex libnl-route-3-200 dpatch graphviz autoconf autotools-dev debhelper automake chrpath quilt m4
安装完成会提示你：
Installation passed successfully
To load the
new driver, run
:
/etc
/init
.d
/openibd restart # 系统自动提示你，到了重启服务的步骤了
2.2、重新加载驱动:
root@master
:~#
/etc
/init
.d
/openibd restart
Unloading
HCA driver
: [ OK ]
Loading
HCA driver and Access Layer
: [ OK ]
2.3、查看及配置 IB
# 重启服务器之后，执行 ”ip a
| grep ib“ 查看 ib网卡接口 的信息 ：
user@master
:~# ip a
| grep ib
3: ib0
: <BROADCAST,MULTICAST> mtu
4092 qdisc noop state
DOWN group
default qlen
256
link
/infiniband a0
:00:02:08:fe
:80:00:00:00:00:00:00:00:02:c9
:03:00:1e
:75:11 brd
00:ff
:ff
:ff
:ff
:12:40:1b
:ff
:ff
:00:00:00:00:00:00:ff
:ff
:ff
:ff
# 使用 ibstat 查看信息：
user@ubuntu
:~$ sudo ibstat
CA 'mlx4_0'
CA type
: MT4099
Number
of ports
: 1
Firmware version
: 2.42.5000
Hardware version
: 1
Node
GUID: 0x0002c903001e7510
System image
GUID: 0x0002c903001e7513
Port
1:
State
: Active
Physical state
: LinkUp
Rate
: 40 (FDR10)
Base lid
: 6
LMC: 0
SM lid
: 6
Capability mask
: 0x0251486a
Port
GUID: 0x0002c903001e7511
Link layer
: InfiniBand
# 如果你前面的步骤都对，但是在这没有 ib口，服务也都重启了，
那你就执行“ lspci
| grep
-i mell ” 测试你的服务器有没有 ib卡，
如果没有信息，那就说明没有ib卡，安装ib驱动也没有任何用
!
2.4、当更改了配置的时候要记得重启服务：
user@ubuntu
:~$
/etc
/init
.d
/openibd restart
user@ubuntu
:~$
/etc
/init
.d
/opensmd restart
关于更多请点击文章开头的目录进行查看：eg：RDMA连通性测试…
