本文介绍,如何通过ipvsadm配置负载均衡,并且转发模式为DR直接路由模式
一、网络拓扑
如下图:
LVS负载均衡的机器,配置了一个VIP:10.1.0.7
二、前置准备
每台机器关闭防火墙
systemctl stop firewalld
RS装好nginx,我测试时用的docker来装的
为以验证结果,对应的nginx首页面,设置如下:
root@cd7e26aa7159:~# cat /usr/share/nginx/html/index.html
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>10.1.0.9 </h1>
</body>
</html>
分别输出两台机器的IP10.1.0.9 和10.1.0.10
三、配置过程
1、配置LVS虚拟IP(VIP)
[root@localhost ~]# ifconfig enp0s8:0 10.1.0.7/16
配置后的检查结果
[root@localhost ~]# ifconfig enp0s8:0
enp0s8:0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500inet 10.1.0.7 netmask 255.255.0.0 broadcast 10.1.255.255ether 08:00:27:b8:e6:5d txqueuelen 1000 (Ethernet)
在宿主机或者同局域网的机器上ping 10.1.0.7
C:\Users\Administrator>ping 10.1.0.7
正在 Ping 10.1.0.7 具有 32 字节的数据:
来自 10.1.0.7 的回复: 字节=32 时间<1ms TTL=64
来自 10.1.0.7 的回复: 字节=32 时间=1ms TTL=64
来自 10.1.0.7 的回复: 字节=32 时间<1ms TTL=64
2、手工执行配置添加LVS服务并增加两台RS
[root@localhost ~]# ipvsadm -C #清空ipvs历史设置
[root@localhost ~]# ipvsadm --set 30 5 60 #设置超时时间(tcp tcpfin udp)
[root@localhost ~]# ipvsadm -A -t 10.1.0.7:80 -s rr -p 20#说明:#-A:添加一个虚拟路由主机(LB)
#-t:指定虚拟路由主机的VIP地址和监听端口
#-s:指定负载均衡算法
# -p:指定会话保持时间[root@localhost ~]# ipvsadm -a -t 10.1.0.7:80 -r 10.1.0.10:80 -g -w 1
[root@localhost ~]# ipvsadm -a -t 10.1.0.7:80 -r 10.1.0.9:80 -g -w 1#说明:
#-a:添加RS节点
#-t:指定虚拟路由主机的VIP地址和监听端口
#-r:指定RS节点的RIP地址和监听端口
#-g:指定DR模式
#-w:指定权值
查看lvs配置结果
[root@localhost ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.1.0.7:80 rr persistent 20-> 10.1.0.9:80 Route 1 0 0 -> 10.1.0.10:80 Route 1 0 0
ipvs配置删除方法
[root@lvs01 ~]# #ipvsadm -D -t 10.1.0.7:80 -s rr #删除虚拟路由主机
[root@lvs01 ~]# #ipvsadm -d -t 10.1.0.7:80 -r 10.1.0.9:80 #删除RS节点
此时,可以打开浏览器访问http://10.1.0.8体验结果,如果没意外,是无法访问的。(RS将包丢弃了)
[root@localhost ~]# curl -X GET http://10.1.0.7
#无法请求
3、手工在RS端绑定lo网卡及抑制ARP
在每台realServer上设置
[root@localhost ~]# ifconfig lo:0 10.1.0.7/32 up
[root@localhost ~]# ifconfig lo:0
lo:0: flags=73<UP,LOOPBACK,RUNNING> mtu 65536inet 10.1.0.7 netmask 0.0.0.0loop txqueuelen 1000 (Local Loopback)
上面的配置,重启后就掉了,工作中得写在配置文件里面
todo 上述配置,如何保存到配置文件?
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
添加路由
[root@localhost ~]# route add -host 10.1.0.7 dev lo
[root@localhost ~]# route -n | grep 10.1.0.7
10.1.0.7 0.0.0.0 255.255.255.255 UH 0 0 0 lo
4、手工在RS端抑制ARP响应
执行下面四句命令
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
5、测试一下效果
在10.1.0.11机器,即上图中的机器B上执行命令
[root@localhost ~]# curl -X GET http://10.1.0.7
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>10.1.0.9 </h1>
</body>
</html>
[root@localhost ~]# curl -X GET http://10.1.0.7
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>10.1.0.10 </h1>
</body>
</html>
在LVS机器上抓包
可以看到只有请求(10.1.0.11)进来(10.1.0.7),并没有返回报文
在RS机器上抓包
可以看到请求的ip是client ip(10.1.0.11),而不是LVS的IP,同时返回报文,是直接返回给client
6、删除RS,试下负载均衡效果
由于现在没有健康检查功能,所以删除实例我们手工来操作一下
删除一台RS,再试着请求
[root@localhost ~]# ipvsadm -d -t 10.1.0.7:80 -r 10.1.0.10:80
[root@localhost ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.1.0.7:80 rr persistent 20-> 10.1.0.9:80 Route 1 0 0
可以看到现在每次都只能请求到10.1.0.9的那台服务了
[root@localhost ~]# curl -X GET http://10.1.0.7
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>10.1.0.9 </h1>
</body>
</html>
最后再把RS加回去
ipvsadm -a -t 10.1.0.7:80 -r 10.1.0.10:80 -g -w 1
7、保存LVS规则到配置文件,保证重启不丢失
[root@localhost ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@localhost ~]# cat /etc/sysconfig/ipvsadm
-A -t localhost.localdomain:http -s rr -p 20
-a -t localhost.localdomain:http -r 10.1.0.9:http -g -w 1
-a -t localhost.localdomain:http -r 10.1.0.10:http -g -w 1
[root@localhost ~]# service ipvsadm restart ##重启ipvsadm看看
Redirecting to /bin/systemctl restart ipvsadm.service
[root@localhost ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 127.0.0.1:80 rr persistent 20-> 10.1.0.9:80 Route 1 0 0 -> 10.1.0.10:80 Route 1 0 0
todo 两个问题
- 1是VIP设置,重启后丢失了
- 2是ipvsadm配置的东西重启后也丢失了,第7步配置没生效