(241226)
基础内容
LVS 是 Linux Virtual Server ,Linux 虚拟服务器;是一个虚拟的服务器集群【多台机器 LB IP】。LVS 集群分为三层结构:
负载调度器(load balancer):它是整个LVS 集群对外的前端机器,负责将client请求发送到一组服务器【多台LB IP】上执行,而client端认为是返回来一个同一个IP【通常把这个IP 称为虚拟IP/VIP】
服务器池(server pool):一组真正执行client 请求的服务器,一般是我们的web服务器;除了web,还有FTP,MAIL,DNS
共享存储(shared stored):它为 server pool 提供了一个共享的存储区,很容易让服务器池拥有相同的内容,提供相同的服务
DR(Direct Routing)
工作的基本原理:
client发送一个pv请求给VIP;VIP 收到这请求后会跟LVS设置的LB算法选择一个LB比较合理的realserver,然后把此请求的package 的MAC地址修改为realserver的MAC地址;
通信的Package有六个主要的字段:src mac、dst mac、src ip、src prot、dst ip、dst ip;个包里面的dst mac是LVS VIP的网卡MAC,在TCP三次握手完成时就只知道dsp ip和dsp mac了
DR模式会把packet里面的dst mac改成realserver的MAC地址;然后VIP会把这个包广播到当前的这个LAN里面;所以,要提前保证VIP 和所有的realserver在同一个网段,也就是在用过LAN里面。
同一个网段:用子网掩码来实现的,我们知道我们的网络中有局域网,一个局域网有很多台机器,这些LAN里面的所有机器都公用一个外网IP;我们是怎样界定这个LAN的呢?用的就是网段号;IP只是是32位二进制数表示,这32位分为:网络位 + 主机位;表现在子网掩码是就是:网络位是1,主机位是0;这样网络位=IP按位与子网掩码;所以,我们在把realserver挂到LVS上前,需要确认DR模式,且IP在同一个网段内。
ARP协议会把这个包发送给真正的realserver【根据MAC找到机器】;
把这个src ip----->realserver的mac 地址建立一个hash表;这此次连接未断开前,同一个client发送的请求通过查询hash表,在次发送到这台realserver上面;
realserver 收到这个pachet后,首先判断dst ip是否是自己的IP地址;如果不是就丢掉包;如果是就处理这个包。所以,DR模式还要在所有的realserver 的机器上面绑定VIP的ip地址;
这样realserver发现package的dst自己能识别【绑定了2个IP】,会处理这个包,处理完后把package的src mac dst mac src ip dst ip 都修改后再通过ARP 发送给VIP,通过VIP 发送给client。realserver发送给VIP的package的格式;
realserver处理这个包后,会跟dst为client ip 直接发送给client ip;不经过lvs ;这样虽然效率比较高,但是有安全漏洞。
LVS DR模式的注意情况:
LVS的VIP和realserver 必须在同一个网段,不然广播后所有的包都会丢掉:提前确认LVS/硬件LB 是什么模式,是否需要在同一个网段
所有的realserver 都必须绑定VIP的IP地址,否则realserver收到package后发现dst不是自己的IP,所有包都会丢掉。
realserver处理完包后直接把package通过dst IP发送给 client ,不通过LVS/迎接IP了这样的LVS /VIP效率会更高一点。
NAT
和NAT网络协议一样
NAT 模式的注意事项:
NAT模式修改的是dst IP,直接走 switch 或pub 不需要修改MAC 所以,不需要VIP和realserver同在一个网段内。
NAT模式package in和package out 都需要经过LVS ;因此LVS的可能会成为一个系统瓶颈问题。
FULL NAT
FULL NAT在client请求VIP时,不仅替换了package的dst ip,还替换了package的 src ip;但VIP返回给client时也替换了src ip;
FULL NAT 模式的注意事项:
FULL NAT模式也不需要 LBIP 和realserver ip 在同一个网段;
full nat跟nat 相比的优点是:保证RS回包一定能够回到LVS;
full nat因为要更新sorce ip 所以性能正常比nat 模式下降 10%。
TUNNEL
IP TUNNEL 模式的注意:
TUNNEL模式必须在所有的realserver 机器上面绑定VIP的IP地址;
TUNNEL模式的vip ------>realserver 的包通信通过TUNNEL 模式,不管是内网和外网都能通信,所以不需要lvs vip跟realserver 在同一个网段内;
TUNNEL模式 realserver会把packet 直接发给client 不会给lvs了;
TUNNEL模式 由于公网路由选路没有直接路由网络问题较为复杂,出现问题排查时间较长。
LVS DR、NAT、FULL NAT、IP TUNNEL 模式的区别:
-
是否需要lvs vip跟realserver 在同一个网段:
DR 模式因为只修改package的 MAC地址通过ARP广播的形势找到realserver,所以 要求LVS 的VIP 和realserver的IP 必须在同一个网段内,也就是在挂载VIP 时先确认LVS的工作模式,如果是DR模式需要先确认这个IP 只是否能挂在这个LVS下面。
其他模式因为都会修改DST ip为 realserver的IP地址,所以不需要在同一个网段内。 -
是否需要在realserver 绑定LVS vip 的IP 地址:
realserver 收到package后会判断dst ip 是否是自己的ip,如果不是就直接丢掉包;因为DR模式dst 没有修改还是LVS的VIP;所以需要在realserver上面绑定VIP;IP TUNNEL 模式只是对package重新包装一层,realserver解析后的IP包的DST 仍然是 LVS的VIP ;也需要在realserver上面绑定VIP;其他的都不需要。 -
四种模式的性能比较:
因为DR模式 TP TUNELL 模式都是在package in 时经过LVS ;在package out是直接返回给client;所以二者的性能比NAT 模式高;但IP TUNNEL 因为是TUNNEL 模式比较复杂,其性能不如DR模式;FULL NAT 模式因为不仅要更换 DST IP 还更换 SOURCE IP 所以性能比NAT下降10%。
所以,4中模式的性能如下:DR --> IP TUNNEL --->NAT ----->FULL NAT