1、常用命令
1. 查看网卡线缆状态
mii-tool eth0
2. 查看网卡底层信息
ethtool eth0
3. 查看网卡驱动信息
ethtool -i eth0
4. 查看网卡状态统计信息
ethtool -S eth0
2、什么是 bonding
Linux bonding 驱动提供了一个把多个网络接口设备捆绑为单个的网络接口设置来使用,用于网络负载均衡及网络冗余
3、bonding 应用方向
1. 网络负载均衡
对于 bonding 的网络负载均衡是我们在文件服务器中常用到的,比如把三块网卡,当做一块来用,解决一个IP地址,流量过大,服务器网络压力过大的问题
- 对于文件服务器来说,比如NFS或SAMBA文件服务器,没有任何一个管理员会把内部网的文件服务器的IP地址弄很多个来解决网络负载的问题,如果在内网中,文件服务器为了管理和应用上的方便,大多是用同一个IP地址
- 对于一个百M的本地网络来说,文件服务器在多个用户同时使用的情况下,网络压力是极大的,特别是 SAMABA 和 NFS 服务器
为了解决同一个 IP 地址,突破流量的限制,毕竟网线和网卡对数据的吞吐量是有限制的,如果在有限的资源的情况下,实现网络负载均衡,最好的办法就是 bonding
2. 网络冗余
对于服务器来说,网络设备的稳定也是比较重要的,特别是网卡
在生产型的系统中,网卡的可靠性就更为重要了,大多通过硬件设备的冗余来提供服务器的可靠性和安全性,比如电源. bonding 也能为网卡提供冗余的支持
把多块网卡绑定到一个 IP 地址,当一块网卡发生物理性损坏的情况下,另一块网卡自动启用,并提供正常的服务,即:默认情况下只有一块网卡工作,其它网卡做备份
4、bonding 工作模式
1. bonding 技术提供了七种工作模式,在使用的时候需要指定一种,每种有各自的优缺点,常用的一般是 0,1,6
- mode=0 (balance-rr)(平衡抡循环策略)
链路负载均衡,增加带宽,支持容错,一条链路故障会自动切换正常链路.交换机需要配置聚合口,思科叫 port channel
特点:传输数据包顺序是依次传输(即:第 1 个包走 eth0,下一个包就走 eth1…一直循环下去,直到最后一个传输完毕)此模式提供负载平衡和容错能力,但是我们知道如果一个连接
或者会话的数据包从不同的接口发出的话,中途再经过不同的链路,在客户端很有可能会出现数据包无序到达的问题,而无序到达的数据包需要重新要求被发送,这样网络的吞吐量就会下降 - mode=1 (active-backup)(主-备份策略)
这个是主备模式,只有一块网卡是 active,另一块是备用的 standby,所有流量都在 active链路上处理,交换机配置的是捆绑的话将不能工作,因为交换机往两块网卡发包,有一半包是丢弃的
特点:只有一个设备处于活动状态,当一个宕掉另一个马上由备份转换为主设备.mac 地址是外部可见得,从外面看来,bond 的 MAC 地址是唯一的,以避免 switch(交换机)发生混乱
此模式只提供了容错能力;由此可见此算法的优点是可以提供高网络连接的可用性,但是它的资源利用率较低,只有一个接口处于工作状态,在有 N 个网络接口的情况下,资源利用率为 1/N - mode=2 (balance-xor)(平衡策略)
表示 XOR Hash 负载分担,和交换机的聚合强制不协商方式配合.(需要 xmit_hash_policy,需要交换机配置 port channel)
特点:基于指定的传输HASH策略传输数据包.缺省的策略是:(源MAC地址 XOR 目标MAC地址) % slave数量.其他的传输策略可以通过xmit_hash_policy选项指定,此模式提供负载平衡和容错能力 - mode=3 (broadcast)(广播策略)
表示所有包从所有网络接口发出,这个不均衡,只有冗余机制,但过于浪费资源.此模式适用于金融行业,因为他们需要高可靠性的网络,不允许出现任何问题.需要和交换机的聚合强制不协商方式配合
特点:在每个 slave 接口上传输每个数据包,此模式提供了容错能力 - mode=4 (802.3ad)(IEEE 802.3ad 动态链接聚合)
表示支持 802.3ad 协议,和交换机的聚合LACP方式配合(需要 xmit_hash_policy).标准要求所有设备在聚合操作时,要在同样的速率和双工模式,而且,和除了 balance-rr 模式外的其它 bonding 负载均衡模式一样,任何连接都不能用多于一个接口的带宽
特点:创建一个聚合组,它们共享同样的速率和双工设定.根据 802.3ad 规范将多个 slave 工作在同一个激活的聚合体下
外出流量的 slave 选举是基于传输 hash 策略,该策略可以通过 xmit_hash_policy 选项从缺省的 XOR 策略改变到其他策略.需要注意的 是,并不是所有的传输策略都是 802.3ad 适应的,
尤其考虑到在 802.3ad 标准 43.2.4 章节提及的包乱序问题.不同的实现可能会有不同的适应性
必要条件:
条件1:ethtool 支持获取每个slave的速率和双工设定
条件2:switch(交换机)支持 IEEE 802.3ad Dynamic link aggregation
条件3:大多数 switch(交换机)需要经过特定配置才能支持 802.3ad 模式 - mode=5 (balance-tlb)(适配器传输负载均衡)
是根据每个 slave 的负载情况选择 slave 进行发送,接收时使用当前轮到的slave.该模式要求 slave 接口的网络设备驱动有某种 ethtool 支持;而且ARP监控不可用
特点:不需要任何特别的switch(交换机)支持的通道 bonding.在每个 slave 上根据当前的负载(根据速度计算)分配外出流量.如果正在接受数据的 slave 出故障了,另一个 slave 接管失败的 slave 的MAC地址
必要条件:ethtool 支持获取每个 slave 的速率 - mode=6 (balance-alb)(适配器适应性负载均衡)
在5的 tlb 基础上增加了 rlb(接收负载均衡receive load balance).不需要任何 switch(交换机)的支持.接收负载均衡是通过ARP协商实现的
特点:该模式包含了 balance-tlb模式,同时加上针对 IPV4 流量的接收负载均衡(receive load balance, rlb),而且不需要任何 switch(交换机)的支持.接收负载均衡是通过ARP协商实现的.bonding 驱动截获本机发送的ARP应答并把源硬件地址改写为bond中某个 slave 的唯一硬件地址,从而使得不同的对端使用不同的硬件地址进行通信
来自服务器端的接收流量也会被均衡.当本机发送 ARP 请求时,bonding 驱动把对端的 IP 信息从 ARP 包中复制并保存下来.当 ARP 应答从对端到达时,bonding 驱动把它的硬件地址提取出来,并发起一个 ARP 应答给 bond 中的某个slave.
使用 ARP 协商进行负载均衡的一个问题是:每次广播 ARP 请求时都会使用 bond 的硬件地址,因此对端学习到这个硬件地址后,接收流量将会全部流向当前的s lave.这个问题可以通过给所有的对端发送更新 (ARP 应答)来解决,应答包含他们独一无二的硬件地址,从而导致流量重新分布
当新的slave加入到bond中时,或者某个未激活的slave重新 激活时,接收流量也要重新分布.接收的负载被顺序地分布(round robin)在bond中最高速的slave上
当某个链路被重新接上,或者一个新的slave加入到bond中,接收流量在所有当前激活的slave中全部重新分配,通过使用指定的MAC地址给每个 client发起ARP应答.下面介绍的updelay参数必须被设置为某个大于等于switch(交换机)转延时的值,从而保证发往对端的ARP应答 不会被switch(交换机)阻截
必要条件:
条件1:ethtool支持获取每个slave的速率
条件2:底层驱动支持设置某个设备的硬件地址,从而使得总是有个slave(curr_active_slave)使用bond的硬件地址,同时保证每个bond 中的slave都有一个唯一的硬件地址.如果curr_active_slave出故障,它的硬件地址将会被新选出的 curr_active_slave接管
其实 mod=6 与 mod=0 的区别:mod=6,先把eth0流量占满,再占eth1,….ethX;而mod=0的话,会发现2个口的流量都很稳定,基本一样的带宽.而mod=6,会发现第一个口流量很高,第2个口只占了小部分流量
2. bonding 驱动选项
Bonding驱动的选项是通过在加载时指定参数来设定的.可以通过insmod或modprobe命令的命令行参数来指定,但通常在/etc/modprobe.conf配置文件中指定,或其他的配置文件中
下面列出可用的bonding驱动参数.如果参数没有指定,驱动会使用缺省参数.刚开始配置bond的时候,建议在一个终端窗口中运行"tail -f /var/log/messages"来观察bonding驱动的错误信息【ps:/var/log/messages一般会打印内核中的调试信息】
有些参数必须要正确的设定,比如miimon、arp_interval和arp_ip_target,否则在链接故障时会导致严重的网络性能退化.很少的设备不支持miimon,因此没有任何理由不使用它们
有些选项不仅支持文本值的设定,出于兼容性的考虑,也支持数值的设定,比如,"mode=802.3ad"和"mode=4"效果是一样的
具体的参数列表:
- primay
指定哪个slave成为主设备(primary device),取值为字符串,如eth0,eth1等.只要指定的设备可用,它将一直是激活的slave.只有在主设备(primary device)断线时才会切换设备.这在希望某个slave设备优先使用的情形下很有用,如,某个slave设备有更高的吞吐率
注意: primary选项只对active-backup模式有效 - updelay
指定当发现一个链路恢复时,在激活该链路之前的等待时间,以毫秒计算.该选项只对miimon链路侦听有效.updelay应该是miimon值的整数倍,如果不是,它将会被向下取整到最近的整数.缺省值为0 - arp_interval
指定ARP链路监控频率,单位是毫秒(ms).如果APR监控工作于以太兼容模式(模式0和模式2)下,需要把switch(交换机)配置为在所有链路上均匀的分发网络包.如果switch(交换机)被配置为以XOR方式分发网络包,所有来自ARP目标的应答会被同一个链路上的其他设备收到,这将会导致其他设备的失败.ARP监控不应该和miimon同时使用.设定为0将禁止ARP监控.缺省值为0 - arp_ip_target
指定一组IP地址用于ARP监控的目标,它只在arp_interval > 0时有效.这些IP地址是ARP请求发送的目标,用于判定到目标地址的链路是否工作正常.该设定值为ddd.ddd.ddd.ddd格式.多个IP地址通过逗号分隔.至少指定一个IP地址.最可以指定16个IP地址.缺省值是没有IP地址 - downdelay
指定一个时间,用于在发现链路故障后,等待一段时间然后禁止一个slave,单位是毫秒(ms).该选项只对miimon监控有效.downdelay值应该是miimon值的整数倍,否则它将会被取整到最接近的整数倍.缺省值为0 - lacp_rate
指定在802.3ad模式下,我们希望的链接对端传输LACPDU包的速率.可能的选项:- slow 或者 0
请求对端每30s传输LACPDU - fast 或者 1
请求对端每1s传输LACPDU - 缺省值是slow
- slow 或者 0
- max_bonds
为bonding驱动指定创建bonding设备的数量.比如:如果max_bonds为3,而且bonding驱动还没有加载,那么bond0,bond1,bond2将会被创建.缺省值为1 - miimon
指定MII链路监控频率,单位是毫秒(ms).这将决定驱动检查每个slave链路状态频率
0表示禁止MII链路监控.100可以作为一个很好的初始参考值.下面的use_carrier选项将会影响如果检测链路状态.更多的信息可以参考“高可靠性”章节.缺省值为0 - mode
指定bonding的策略.缺省是balance-rr (round robin,循环赛).可选的mode包括:0,1,2,3,4,5,6
5、bonding 实验环境及配置
1. 实验环境
系统为:CentOS7 使用4块网卡(eth0、eth1 ==> bond0;eth2、eth3 ==> bond1)来实现bonding技术
2. 关闭和停止 NetworkManager 服务
systemctl stop NetworkManager.service
systemctl disable NetworkManager.service
ps:一定要关闭,不关会对做bonding有干扰
3. bonding 配置
第一步:先查看一下内核是否已经支持bonding
1)如果内核已经把bonding编译进内核,那么要做的就是加载该模块到当前内核,其次查看ifenslave该工具是否也已经编译
- 查看是否编译进内核(默认内核安装完后就已经支持bonding模块了,无需要自己手动编译)
modinfo bonding - 查看是否加载bonding模块
lsmod | grep bonding
如果没有加载执行
modprobe bonding(临时生效)
echo 'modprobe bonding' >> /etc/rc.local(开机自动加载bonding模块到内核) - 查看ifenslave该工具是否安装
which ifenslave
2)如果bonding还没有编译进内核,那么要做的就是编译该模块到内核(编译过的直接略过此步骤)
-
编译bonding
tar -jxvf kernel-XXX.tar.gz
cd kernel-XXX
make menuconfig
选择 " Network device support " -> " Bonding driver support "
make bzImage
make modules && make modules_install
make install -
编译ifenslave工具
gcc -Wall -O -I kernel-XXX/include ifenslave.c -o ifenslave
第二步:主要有两种可选择(第1种:实现网络负载均衡,第2种:实现网络冗余)
例1:实现网络负载均衡和网络冗余(即:mod=0方式,使用eth0与eth1)
(1)编辑虚拟网络接口配置文件(创建bond0的逻辑网卡),并指定网卡IP
vim /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
NAME=bond0
ONBOOT=yes
BOOTPROTO=none
TYPE=Bond
IPADDR=192.168.88.20
NETMASK=255.255.255.0
GATEWAY=192.168.88.2
USERCTL=no
#BONDING_MASTER=yes
#BONDING_OPTS="mode=1 miimon=100 lacp_rate=fast"
注意:建议不要指定MAC地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
NAME=eth0
ONBOOT=yes
BOOTPROTO=none
USERCTL=no
MASTER=bond0
SLAVE=yes
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
vim /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
NAME=eth1
ONBOOT=yes
BOOTPROTO=none
USERCTL=no
MASTER=bond0
SLAVE=yes
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
要修改模块载入配置文件(/etc/modprobe.conf)如下:
alias bond0 bonding
options bond0 miimon=100 mode=0
ps:(这里我发现modprobe.conf并没有生效,所以我把这些参数加入到了ifcfg-bond0)
systemctl restart network
(2)测试如下
目前两块网卡都处于连接状态
禁用了网卡eth0,用ping指令测试
ps:mode=6时,eth0与eth1所使用的MAC是不一样的
例2:实现网络冗余(即:mod=1方式,使用eth0与eth1)
注意:VM中只能做mode=1的实验,其它的工作模式得用真机来实践
要修改模块载入配置文件(/etc/modprobe.conf)如下:
alias bond0 bonding
options bond0 miimon=100 mode=1
ps:(这里我发现modprobe.conf并没有生效,所以我把这些参数加入到了ifcfg-bond0)
systemctl restart network
6、bonding 链路监测方法
官方文档里说有两种针对链路的监测方法(注意:这两种监测不能同时使用)
1. miimon(这种方法是最常见的,此方法使用系统的 mii-tool 命令进行监测)
查看 bond 状态
cat /proc/net/bonding/bond0
root@Web:~# mii-tool bond0
bond0: 10 Mbit, half duplex, link ok
日志会输出到系统日志/var/log/message
nohup mii-tool -wl bond1 >/dev/null 2>&1 &
缺点:这种方法,只能监测交换机与该网卡之间的链路;如果它们之外的链路的地方断了,而交换机本身没有问题,也就是说你的网卡和交换机之间还是UP状态,它是不会认为网络中断,
除非你的网卡是DOWN状态,它才会把链路转到另一块网卡上,就像是拔掉网线一样,或者把交换机端口shutdown一样
2. arp (这种方法比较实用,你可以把它看作是 ar p的 ping (二层 ping ),但是可能会给网关造成一定的压力)
模块加载:
alias bond0 bonding
options bond0 arp_interval=100 arp_ip_target=192.168.1.1 mode=active-backup primary=eth0
解析如下:
arp_interval=100,表示arp的检测时间,等同于miimon=100的作用
arp_ip_target=192.168.1.1,表示arp检测的目标IP,必须是同网段的,最好就是网关
注意:如果使用arp来ping网关不通,那么在/proc/net/bonding/bond0里会一会down,一会up的
优点:使用arp这种方法,如果交换机的上出现问题,网络不通,它就会把链转到另一块网卡上,但是不管是哪种方法,在第一块网卡出现问题,链路转到第二块后,如果第一块恢复正常,链路自己不会恢复的
linux测试丢包率
mtr -r -c 15 -s 1024 -n 20.3.120.127
参考文献:
https://blog.csdn.net/youlang2010/article/details/20462301
------------------------------- THE END -------------------------------