一.什么是集群集群是为了解决某个特定问题将多台计算机组合起来形成的单个系统二.集群分类常见的三种类型LB,HA,HPCLBLoadBalancing负载均衡由多个主机组成每个主机只承担一部分访问HAHigh Availiablity高可用SPOFsingle Point Of failureMTBF:Mean Time Between Failure 平均无故障时间正常时间MTTR:Mean Time To Restoration repair平均恢复前时间故障时间AMTBF/MTBFMTTR (0,1)99%, 99.5%, 99.9%, 99.99%, 99.999%SLAService level agreement服务等级协议是在一定开销下为保障服务的性能和可用性服 务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服务质量的主要因素。在 常规的领域中总是设定所谓的三个9四个9来进行表示当没有达到这种水平的时候就会有一 些列的惩罚措施而运维最主要的目标就是达成这种服务水平。停机时间又分为两种一种是计划内停机时间一种是计划外停机时间而运维则主要关注计划外 停机时间HPCHigh-performance computing高性能计算国家战略资源三.lvs的作用lvs集群体系结构工作原理VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS根据调度算法来挑选RS作用把用户流量分发到多台后端服务器实现集群对外统一提供服务、扩容、高可用四.lvs的4种模式及原理lvs集群的类型1.lvs-nat 修改请求报文的目标IP,多目标IP的2.DNAT lvs-dr 操纵封装新的MAC地址3.lvs-tun 在原请求IP报文之外新加一个IP首部4.lvs-fullnat 修改请求报文的源和目标IP1.nat模式数据逻辑1.客户端发送访问请求请求数据包中含有请求来源cip访问目标地址VIP访问目标端口 9000port2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口 3.RS1相应请求发送响应数据包包中的相应保温为数据来源RIP1响应目标CIP相应端口 9000port4.VS服务器接收到响应数据包改变包中的数据来源RIP1--VIP,响应目标端口9000--805.VS服务器把修改过报文的响应数据包回传给客户端6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机所以lvs的调度机容易阻塞客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通 过PREROUTING后被ipvs结果并作nat转发因为ipvs的作用点是在PREROUTING和INPUT链之间所以如果在prerouting中设定规则会干扰ipvs的工 作。所以在做lvs时要把iptables的火墙策略全清理掉。2.dr模式DRDirect Routing直接路由LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行 转发源MAC是DIP所在的接口的MAC目标MAC是某挑选出的RS的RIP所在接口的MAC地址源 IP/PORT以及目标IP/PORT均保持不变数据逻辑在DR模式中RS接收到访问请求后不需要回传给VS调度器直接把回传数据发送给client所以RS和vs 上都要有vip1.客户端发送数据帧给vs调度主机帧中内容为客户端IP客户端的MACVIPVIP的MAC2.VS调度主机接收到数据帧后把帧中的VIP的MAC该为RS1的MAC此时帧中的数据为客户端IP客户端 的MACVIPRS1的MAC3.RS1得到2中的数据包做出响应回传数据包数据包中的内容为VIPRS1的MAC客户端IP客户端IP的 MAC特点1.Director和各RS都配置有VIP2.确保前端路由器将目标IP为VIP的请求报文发往Director3.在前端网关做静态绑定VIP和Director的MAC地址4.RS的RIP可以使用私网地址也可以是公网地址RIP与DIP在同一IP网络5.RIP的网关不能指向DIP以确保响应报文不会经由Director6.RS和Director要在同一个物理网络7.请求报文要经由Director但响应报文不经由Director而由RS直接发往Client8.不支持端口映射端口不能修败9.RS可使用大多数OS系统3.tun模式转发方式不修改请求报文的IP首部源IP为CIP目标IP为VIP而在原IP报文之外再封装一个IP首部 源IP是DIP目标IP是RIP将报文发往挑选出的目标RSRS直接响应给客户端源IP是VIP目标IP 是CIP数据逻辑特点1.DIP, VIP, RIP都应该是公网地址2.RS的网关一般不能指向DIP3.请求报文要经由Director但响应不能经由Director4.不支持端口映射5.RS的OS须支持隧道功能4.fullnet模式数据逻辑特点通过同时修改请求报文的源IP地址和目标IP地址进行转发五.lvs的13种算法1.lvs调度算法类型ipvs scheduler根据其调度时是否考虑各RS当前的负载状态被分为两种静态方法和动态方法静态方法仅根据算法本身进行调度不考虑RS的负载情况动态方法主要根据每RS当前的负载状态及调度算法进行调度Overheadvalue较小的RS将被调度2.lvs静态调度算法1、RRroundrobin 轮询 RS分别被调度当RS配置有差别时不推荐2、WRRWeighted RR加权轮询根据RS的配置进行加权调度性能差的RS被调度的次数少3、SHSource Hashing实现session sticky源IP地址hash将来自于同一个IP地址的请求始终发往 第一次挑中的RS从而实现会话绑定4、DHDestination Hashing目标地址哈希第一次轮询调度至RS后续将发往同一个目标地址的请 求始终转发至第一次挑中的RS典型使用场景是正向代理缓存场景中的负载均衡如宽带运营商3.lvs动态调度算法主要根据RS当前的负载状态及调度算法进行调度Overheadvalue较小的RS会被调度1、LCleast connections最少链接发 适用于长连接应用Overhead负载值activeconns活动链接数 x 256inactiveconns非活 动链接数2、WLCWeighted LC权重最少链接 默认调度方法Overhead(activeconns x 256inactiveconns)/weight3、SEDShortest Expection Delay, 初始连接高权重优先Overhead(activeconns1inactiveconns) x 256/weight 但是当node1的权重为1node2的权重为10经过运算前几次的调度都会被node2承接4、NQNever Queue第一轮均匀分配后续SED5、LBLCLocality-Based LC动态的DH算法使用场景根据负载状态实现正向代理6、LBLCRLBLC with Replication带复制功能的LBLC解决LBLC负载不均衡问题从负载重的复制 到负载轻的RS4.在4.15版本内核以后新增调度算法1.FO(Weighted Fai Over)调度算法常用作灰度发布在此FO算法中遍历虚拟服务所关联的真实服务器链表找到还未过载(未设置IP_VS_DEST_F OVERLOAD标志)的且权重最高的真实服务器进行调度当服务器承接大量链接我们可以对此服务器进行过载标记IP_VS_DEST_F OVERLOAD那么vs调度 器就不会把链接调度到有过载标记的主机中。2.OVF(Overflow-connection)调度算法基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器直到其活动 连接数量超过权重值之后调度到下一个权重值最高的真实服务器,在此OVF算法中遍历虚拟服务相关 联的真实服务器链表找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条 件:未过载(未设置IP_VS_DEST_F OVERLOAD标志)真实服务器当前的活动连接数量小于其权重值其权重值不为零六.lvs的多端口轮询问题解决方案1.环境部署lvseth0-nat-172.25.254.100 eth1-hostonly-192.168.0.100rs1eth0-hostonly-192.168.0.10rs2eth0-hostonly-192.168.0.20设定RS1 和 RS2 的网络和网关#rs1 vmset.sh eth0 192.168.0.10 RS1 noroute nmcli connection modify eth0 ipv4.gateway 192.168.0.100 nmcli connection reload nmcli connection up eth0 route -n #查看路由 #rs2 vmset.sh eth0 192.168.0.20 RS1 noroute nmcli connection modify eth0 ipv4.gateway 192.168.0.100 nmcli connection reload nmcli connection up eth0 route -n #查看路由 #效果所有IP之间可以直接ping通设定rs1和rs2的访问业务真实数据#rs1 dnf install httpd -y systemctl enable --now httpd echo RS1 - 192.168.0.10 /var/www/html/index.html #rs2 dnf install httpd -y systemctl enable --now httpd echo RS2 - 192.168.0.20 /var/www/html/index.html设定lvsnat模式vmset.sh eth0 172.25.254.100 vsnode vmset.sh eth1 192.168.0.100 vsnode noroute #安装 dnf install ipvsadm.x86_64 -y #开启内核路由功能 echo net.ipv4.ip_forward1 /etc/sysctl.conf sysctl -p #编写策略 ipvsadm -C ipvsadm -A -t 172.25.254.100:80 -s wrr ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 1 ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1 #查看 ipvsadm -Ln #利用守护进程进行规则持久化 ipvsadm-save -n /etc/sysconfig/ipvsadm ipvsadm -C systemctl enable --now ipvsadm.service结果2.利用火墙标记解决轮询错误在rs主机中同时开始http和https两种协议#在rs1与rs2中 dnf install mod_ssl -y systemctl restart httpd在vsnode中添加https的轮询策略ipvsadm -A -t 172.25.254.100:443 -s wrr ipvsadm -a -t 172.25.254.100:443 -r 192.168.0.10:443 -m -w 1 ipvsadm -a -t 172.25.254.100:443 -r 192.168.0.20:443 -m -w 1 ipvsadm -Ln轮询错误展示curl 192.168.0.100;curl -k https://192.168.0.100解决方案使用火墙标记访问vip的80和443的所有数据包设定标记为6666然后对此标记进行负载iptables -t mangle -A PREROUTING -d 192.168.0.100 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 6666 ipvsadm -A -f 6666 -s wrr ipvsadm -a -f 6666 -r 192.168.0.10 -m -w 1 ipvsadm -a -f 6666 -r 192.168.0.20 -m -w 1测试curl 192.168.0.100;curl -k https://192.168.0.100七.lvs的会话粘滞解决方案设定ipvs调度策略ipvsadm -A -f 6666 -s wrr -p 1 ipvsadm -a -f 6666 -r 192.168.0.10 -m -w 1 ipvsadm -a -f 6666 -r 192.168.0.20 -m -w 1 #查看 ipvsadm -Ln测试curl 192.168.0.100查看watch -n 1 ipvsadm -Lnc