ip_vs 的管理以及 keepalived + lvs 案例

ip_vs 的管理

ipvsadm 与 keepalived for lvs

在这里插入图片描述


ipvsadm 命令及参数介绍

部署和配置LVS服务会经常用到一些命令，如ipvsadm，可以使用“ipvsadm -help”命令查看使用帮助。

  • ipvsadm 命令的常用参数及其说明如下：

    # 添加虚拟服务器# 语法：ipvsadm -A [-t|u|f] [vip_addr:port] [-s:指定算法]--add-service, -A ：增加虚拟vip服务--edit-service, -E ：修改虚拟vip服务--tcp-service, -t service-address ：TCP协议，service-address为host[:port]--udp-service, -u  service-address ：UDP协议--fwmark-service, -f fwmark ：防火墙标记，fwmark 是一个大于零的整数--scheduler, -s scheduler ：指定调度算法(rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq)，缺省默认 wlc--delete-service, -D ：删除虚拟vip服务
# 添加|编辑虚拟vip服务
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]# 参数：--add-service, -A ：增加虚拟vip服务--edit-service, -E ：修改虚拟vip服务--tcp-service, -t service-address ：TCP协议。service-address为host[:port]--udp-service, -u service-address ：UDP协议--fwmark-service, -f fwmark ：防火墙标记，fwmark 是一个大于零的整数--scheduler, -s scheduler ：指定调度算法(rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq)，缺省默认 wlc 
# 删除虚拟vip服务
ipvsadm -D -t|u|f service-address--delete-service, -D# 添加|编辑真实主机
ipvsadm -a|e -t|u|f service-address -r server-address [options]--add-server, -a ：添加真实主机--edit-server, -e ：修改真实主机配置--tcp-service, -t service-address ：TCP协议。service-address为host[:port]--udp-service, -u service-address ：UDP协议--fwmark-service, -f fwmark ：防火墙标记，fwmark 是一个大于零的整数--real-server, -r ：指定后端realserver的IP--gatewaying, -g ：DR模式--ipip, -i ：TUN模式--masquerading, -m ：NAT模式--weight, -w ：指定权重
# 删除真实主机
ipvsadm -d -t|u|f service-address -r server-address--delete-server, -d ：删除真实主机配置# 查看当前集群信息
ipvsadm -ln--list, -L|-l ：显示详细列表信息#  以下选项用于list命令--numeric, -n ：不对ip地址进行dns查询，以数字形式输出信息--connection, -c ：列出当前的IPVS连接。--timeout ：列出超时--daemon ：列出进程--stats ：状态信息--rate ：传输速率--thresholds ：列出阈值--persistent-conn ：坚持连接--sor ：把列表排序--nosort ：不排序--exact ：单位# 清空所有记录
ipvsadm -C--clear, -C ：清空所有记录
# 从stdin恢复规则
ipvsadm -R--restore, -R
# 将规则保存到stdout
ipvsadm -S [-n]--save, -S
# 显示详细列表信息
ipvsadm -L|l [options]--list, -L|-l
# 一个服务或所有服务中的计数器归零
ipvsadm -Z [-t|u|f service-address]--zero, -Z
# 设置连接超时值，单位s
ipvsadm --set tcp_time tcpfin_time udp_time
# 启动连接同步守护进程
ipvsadm --start-daemon state [--mcast-interface interface] [--syncid sid]
# 停止连接同步守护进程
ipvsadm --stop-daemon state
# 查看帮助
ipvsadm -h

  • lvs 进程相关命令：

    # 查看下内核是否有加载 lvs
lsmod | grep ip_vs
# 加载ip_vs模块
modprobe ip_vs
# 查看ip_vs版本信息
cat /proc/net/ip_vs# 安装 ipvsadm
yum -y install ipvsadm

案例

keepalived 通过配置文件管理 ip_vs

环境说明

  • LVS 给两台 nginx 做负载均衡
  • keepalived 做 lvs 高可用，同时做 Real-Server 健康检查，如果发现 Real-Server 的端口没开，就认为故障,从集群中剔除
  • 在 keepalived 配置文件内就能配置 LVS
主机名IP地址作用
lb01192.168.60.111lvs-master
lb02192.168.60.112lvs-backup
realserver-1192.168.60.121nginx
realserver-2192.168.60.122nginx
192.168.60.200VIP

主备服务器系统配置

主备服务器共同操作：

  • 安装所需应用，加载系统内核 ip_vs 模块

    ### 关闭firewalld防火墙
[root@localhost ~]# systemctl stop firewalld.service
### 关闭selinux防火墙
[root@localhost ~]# setenforce 0
### 安装所需应用
[root@localhost ~]# yum -y install ipvsadm keepalived
### 加载ip_vs模块
[root@localhost ~]# modprobe ip_vs
### 查看ip_vs版本信息
[root@localhost ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn

  • 编写 lvs 健康检查脚本

    vi /usr/libexec/keepalived/lvs_check.sh

    脚本内容：

    #!/bin/baship=$(hostname -I | awk '{print $1}')
dt=$(date +'%Y%m%d %H:%M:%S')
echo "$0--${ip}--${dt}" >> /tmp/kp.log# 检查 LVS 的状态
if [ -e /proc/net/ip_vs ]; thenif [[ $(cat /proc/net/ip_vs | grep TCP) != '' ]];then exit 0		# 正常状态else echo "${ip}--${dt}: LVS is not running. Take necessary actions" >> /tmp/kp.logexit 1		# 异常状态fi
else echo "${ip}--${dt}: LVS is not running. Take necessary actions" >> /tmp/kp.logexit 1
fi

    给脚本加执行权限

    chmod +x /usr/libexec/keepalived/lvs_check.sh

主服务器 keepalived 配置文件

[root@localhost ~]#cd /etc/keepalived/           #配置文件存放目录
[root@localhost keepalived]# cp keepalived.conf keepalived.conf.bak   #备份一份配置文件
[root@localhost keepalived]# vi keepalived.conf
......
global_defs {			### 定义全局参数smtp_server 127.0.0.1       ### 修改，邮件服务指向本地smtp_connect_timeout 30     ### 连接超时时间router_id LVS_01          	### 修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02#vrrp_skip_check_adv_addr    ### 这四行注释掉，取消严格遵守VRRP协议功能，否则VIP无法被连接#vrrp_strict#vrrp_garp_interval 0#vrrp_gna_interval 0
}
# 定义 lvs 健康检查脚本
vrrp_script lvs_check {script "/usr/libexec/keepalived/lvs_check.sh"interval 1
}vrrp_instance VI_1 {			### 定义VRRP热备实例参数state MASTER            	### 修改，指定热备状态，主为MASTER，备为BACKUPinterface ens33         	### 修改，指定承载vip地址的物理接口virtual_router_id 10    	### 修改，指定虚拟路由器的ID号，每个热备组保持一致	#nopreempt					### 如果设置非抢占模式，两个节点state必须为BACKUP，并加上配置 nopreemptpriority 100         		### 修改，指定优先级，数值越大优先级越高，这里设置主为100，备为90advert_int 1				### 通告间隔秒数(心跳频率)authentication {			### 定义认证信息,每个热备组保持一致auth_type PASS			### 认证类型auth_pass abc123    	### 修改，指定验证密码，主备服务器保持一致}virtual_ipaddress {			### 指定群集vip地址192.168.60.200}# 调用 lvs 健康检查脚本track_script {lvs_check}
}################## LVS配置 ##############            
# 添加虚拟服务器
# 相当于 ipvsadm -A -t 192.168.60.200:8080 -s wrr
virtual_server 192.168.60.200 8080 {  ### 修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数delay_loop 6					### 健康检查的间隔时间(秒)lb_algo rr						### 指定调度算法，轮询(rr)lb_kind DR       				### 修改，指定群集工作模式，直接路由(DR)persistence_timeout 0			### 连接保持时间(秒)protocol TCP					### 应用服务采用的是 TCP协议# 添加后端realserver# 相当于 ipvsadm -a -t 192.168.0.100:8080 -r 192.168.60.121:8080 -w 1real_server 192.168.60.121 8080 {  ### 修改，指定第一个真实的物理节点的地址、端口weight 1					# 节点的权重	TCP_CHECK {                 ### 使用 TCP_CHECK 健康检查方式connect_port 8080		# 添加检查的目标端口connect_timeout 3		# 添加连接超时(秒)nb_get_retry 3			# 添加重试次数delay_before_retry 3	# 添加重试间隔}}real_server 192.168.60.122 8080 {	# 添加第二个真实的物理节点的地址、端口weight 1TCP_CHECK {connect_port 8080connect_timeout 3nb_get_retry 3delay_before_retry 3}}
}

备服务器 keepalived 配置文件

[root@localhost ~]#cd /etc/keepalived/           #配置文件存放目录
[root@localhost keepalived]# cp keepalived.conf keepalived.conf.bak   #备份一份配置文件
[root@localhost keepalived]# vim keepalived.conf
......
global_defs {smtp_server 127.0.0.1 smtp_connect_timeout 30router_id LVS_02
}vrrp_script lvs_check {script "/usr/libexec/keepalived/lvs_check.sh"interval 1
}vrrp_instance VI_1 {state BACKUP interface ens33  virtual_router_id 10  	#nopreempt		priority 90    advert_int 1	authentication {	auth_type PASS			auth_pass abc123    	}virtual_ipaddress {			192.168.60.200}track_script {lvs_check}
}virtual_server 192.168.60.200 8080 { delay_loop 6					lb_algo rr						lb_kind DR    persistence_timeout 0			protocol TCP					real_server 192.168.60.121 8080 {  weight 1					TCP_CHECK {                 connect_port 8080		connect_timeout 3		nb_get_retry 3			delay_before_retry 3	}}real_server 192.168.60.122 8080 {weight 1TCP_CHECK {connect_port 8080connect_timeout 3nb_get_retry 3delay_before_retry 3}}
}

启动 keepalived

  • 修改过配置文件之后，主备服务器重启 keepalived 服务

    systemctl restart keepalived

  • 使用 ip add 命令检查 vip 是否生成

    在这里插入图片描述

    在这里插入图片描述

  • 查看 lvs

    真实服务器的服务启动，lvs 就会添加规则；服务一关闭，lvs 就会去掉规则

    [root@lvs1 keepalived]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.60.200:8080 wrr-> 192.168.60.121:8080           Route   1      0          0         -> 192.168.60.122:8080           Route   1      0          0

  • 修改 lvs 的超时时间

    # 查看 lvs 的超时时间
[root@DR1 keepalived]# ipvsadm -L --timeout
Timeout (tcp tcpfin udp): 900 120 300

    900 120 300 这三个数值分别是 TCP TCPFIN UDP 的默认超时时间，也就是说一条 tcp 的连接经过 lvs 后，lvs 会把这台记录保存15 分钟。因为这个时间比较长，所以如果不做修改的话，在使用浏览器测试 lvs 的 dr 轮询效果时会发现轮询现象并没有发生，测试时可以将此数值调整小（单位是 秒）

    [root@DR1 ~]# ipvsadm --set 1 2 1

    注意：lvs 超时时间虽然调小了，但依然是 秒 级别的，浏览器连续点击不会实现连续跳转，至少需隔 1 秒再点才会出现跳转


真实服务器部署 nginx

  1. 安装软件

    # 安装nginx以及拓展源
yum install epel-release -y
yum install -y nginx

  2. Nginx 配置 web 站点

    #web1
[root@nginx1 ~]# vi /etc/nginx/conf.d/web.conf 
server{listen 8080;root         /usr/share/nginx/html;index test.html;
}[root@nginx1 ~]# echo "<h1>This is web1</h1>"  > /usr/share/nginx/html/test.html

    #web2
[root@nginx2 ~]# vi /etc/nginx/conf.d/web.conf 
server{listen 8080;root         /usr/share/nginx/html;index test.html;
}[root@nginx2 ~]# echo "<h1>This is web2</h1>"  > /usr/share/nginx/html/test.html

  3. 启动 Nginx

    nginx -t
nginx

真实服务器绑定 VIP

  • 编写脚本

    vi rs.sh

    脚本内容

    #!/bin/bash
#description: Config realserver
VIP=192.168.60.200
netmask=255.255.255.255#/etc/rc.d/init.d/functionscase "$1" in
start)# 添加 vip 到循环网卡（临时生效）ip addr add $VIP brd $netmask dev lo label lo:0# 添加 vip 到路由（临时生效）ip route add $VIP dev lo:0# 设置真实服务器的lo接口不做ARP应答，使得各个接口只对本接口上的地址进行响应#echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore#echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "1" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/all/arp_announcesysctl -p >/dev/null 2>&1echo "RealServer Start OK";;
stop)ip addr del $VIP brd $netmask dev lo label lo:0ip route del $VIP dev lo:0#echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore#echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "0" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "0" >/proc/sys/net/ipv4/conf/all/arp_announceecho "RealServer Stoped";;
*)echo "Usage: $0 {start|stop}"exit 1
esacexit 0

  • 执行脚本

    sh rs.sh start

拓展

  • 永久绑定 VIP

    [root@web02 network-scripts]# cd /etc/sysconfig/network-scripts
[root@web02 network-scripts]# cp ifcfg-lo ifcfg-lo:1
[root@web02 network-scripts]# vi ifcfg-lo:1
DEVICE=lo:1
IPADDR=192.168.245.166
NETMASK=255.255.255.255
ONBOOT=yes
NAME=loopback

  • 抑制 arp 解析

    #方法1：
cat >> /etc/sysctl.conf << EOF
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
#net.ipv4.conf.lo.arp_ignore=1
#net.ipv4.conf.lo.arp_announce=2
EOFsysctl -p#方法2：
#echo  "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
#echo  "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo  "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo  "2" >/proc/sys/net/ipv4/conf/all/arp_announce

    注：

    • arp_ignore 为 1 时：只响应目的 IP 地址为接收网卡上的本地地址的 arp 请求

    • arp_announce 为 2 时：只向该网卡回应与该网段匹配的 ARP 报文

    • 回环网卡 lo 和网卡 ens33 是物理隔离的，不在一个网段，在回环网卡上加一个 IP，默认设置下（net.ipv4.conf.lo.arp_ignore=0）是不会把回应 ens33 所在局域网的arp广播的。

      所以 net.ipv4.conf.lo.arp_ignore=1 和 /proc/sys/net/ipv4/conf/lo/arp_announce=1 实际是无效设置。

    • net.ipv4.conf.all.arp_announce 参数也可以不设置，应为在这个架构中真实服务器不发 arp 广播，只接收和回应 arp 广播。


验证

  • 在非 keepalived master 主机（即拿到 vip 的主机）使用 curl 命令测试，而是在其他主机或者用浏览器测试
  • 注意：lvs 应对高并发负载均衡，访问是比较少时，并不能像 nginx 那样 1:1 轮询。在浏览器连续点击不会实现连续跳转，需隔 lvs 的超时时间再点才会出现跳转

参考

  • LVS的介绍与使用
  • LVS详解
  • LVS+Keepalived
  • [LVS+Keepalived 构造高可用负载均衡集群](

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/421296.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【博士每天一篇论文-技术综述】Machine Learning With Echo State Networks 一篇系统讲解ESN知识的五星文章

【博士每天一篇论文-技术综述】Machine Learning With Echo State Networks 一篇系统讲解ESN知识的五星文章

阅读时间&#xff1a;2023-11-21 1 介绍 年份&#xff1a;2020 作者&#xff1a;徐元超&#xff0c;曼尼托巴大学 期刊&#xff1a; 无 引用量&#xff1a;无 这篇文章是一篇技术报告&#xff0c;从递归神经网络&#xff08;RNNs&#xff09;引入到回声状态网络&#xff08;…
阅读更多...
在IDEA中使用快捷键让XML注释更加规范

在IDEA中使用快捷键让XML注释更加规范

Setting -> Editor -> Code Style -> XML 取消勾选 Line comment at first column 这样我们在使用ctrl / 快速注释时&#xff0c;就可以让注释符号紧贴注释内容&#xff0c;不出现空格。
阅读更多...
适合初学者的 机器学习 资料合集（可快速下载）

适合初学者的 机器学习 资料合集（可快速下载）

AI时代已经来临&#xff0c;机器学习成为了当今的热潮。但是&#xff0c;很多人在面对机器学习时却不知道如何开始学习。 今天&#xff0c;我为大家推荐几个适合初学者的机器学习开源项目&#xff0c;帮助大家更好地了解和掌握机器学习的知识。这些项目都是开源的&#xff0c;…
阅读更多...
vscode全局搜索搜不到node_modules的问题解决

vscode全局搜索搜不到node_modules的问题解决

一开始只试了删除设置-search.exclude里面的**/node_modules&#xff0c;没生效。 方法一&#xff1a;解决方法&#xff1a;同时删掉设置-search.exclude里面的**/node_modules和.gitignore。.gitignore里面也包含了node_modules文件&#xff0c;因此设置也需要删掉这个文件。…
阅读更多...
SpringBoot之文件上传

SpringBoot之文件上传

1、文件上传原理&#x1f618; 表单的enctype 属性规定在发送到服务器之前应该如何对表单数据进行编码。 当表单的enctype"application/x-www-form-urlencoded"&#xff08;默认&#xff09;时&#xff0c;form表单中的数据格式为&#xff1a;keyvalue&keyvalue …
阅读更多...
Tomcat的maxParameterCountmaxPostSize参数

Tomcat的maxParameterCountmaxPostSize参数

Tomcat的maxParameterCount&maxPostSize参数 Tomcat的maxParameterCount&maxPostSize参数1.问题1.1问题现象1.2 参数总结1.3 问题总结 2 Tomcat官网的解释2.1 到https://tomcat.apache.org/找到文档入口2.2 找到文档的Reference2.3 查看配置文件的参数 3 文档看不明白&…
阅读更多...
机器学习实验报告——Bayes算法

机器学习实验报告——Bayes算法

目录 一、算法介绍 1.1算法背景 1.2算法假设 1.3 贝叶斯与朴素贝叶斯 1.4算法原理 二、算法推导 2.1朴素贝叶斯介绍 2.2朴素贝叶斯算法推导 2.2.1先验后验概率 2.2.2条件概率公式 2.3 独立性假设 2.4 朴素贝叶斯推导 三、算法实现 3.1数据集描述 3.2代码实现 四…
阅读更多...
mycat实现mysql读写分离

mycat实现mysql读写分离

一. mycat集群HaproxyKeepalived mycat集群HaproxyKeepalivedmysql1主2从 环境规划 centos7.9 1主2从&#xff0c;读写分离 名称ip端口mysql-master192.168.1.2203306mysql-slave1192.168.1.2213306mysql-slave2192.168.1.2223306mycat-1192.168.1.2218066mycat-2192.168.1.…
阅读更多...
《WebKit 技术内幕》之八（1）：硬件加速机制

《WebKit 技术内幕》之八（1）：硬件加速机制

《WebKit 技术内幕》之八&#xff08;1&#xff09;&#xff1a;硬件加速机制 1　硬件加速基础 1.1　概念 这里说的硬件加速技术是指使用GPU的硬件能力来帮助渲染网页&#xff0c;因为GPU的作用主要是用来绘制3D图形并且性能特别好&#xff0c;这是它的专长所在&#xff0c;它…
阅读更多...
4D毫米波雷达——FFT-RadNet 目标检测与可行驶区域分割 CVPR2022

4D毫米波雷达——FFT-RadNet 目标检测与可行驶区域分割 CVPR2022

前言 本文介绍使用4D毫米波雷达&#xff0c;实现目标检测与可行驶区域分割&#xff0c;它是来自CVPR2022的。 会讲解论文整体思路、输入数据分析、模型框架、设计理念、损失函数等&#xff0c;还有结合代码进行分析。 论文地址&#xff1a;Raw High-Definition Radar for Mu…
阅读更多...
JVM篇--垃圾回收器高频面试题

JVM篇--垃圾回收器高频面试题

1 你知道哪几种垃圾收集器&#xff0c;各自的优缺点是啥&#xff0c;重点讲下cms和G1&#xff0c;包括原理&#xff0c;流程&#xff0c;优缺点&#xff1f; 1&#xff09;首先简单介绍下 有以下这些垃圾回收器 Serial收集器&#xff1a; 单线程的收集器&#xff0c;收集垃圾时…
阅读更多...
Vue学习笔记9--vuex(专门在Vue中实现集中式状态（数据）管理的一个Vue插件）

Vue学习笔记9--vuex(专门在Vue中实现集中式状态（数据）管理的一个Vue插件）

一、vuex是什么&#xff1f; 概念&#xff1a;专门在Vue中实现集中式状态&#xff08;数据&#xff09;管理的一个Vue插件&#xff0c;对vue应用中多个组件的共享状态进行集中式的管理&#xff08;读/写&#xff09;&#xff0c;也是一种组件间通信的方式&#xff0c;且适用于…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023