LVS 和 Keepalived 介绍与实战操作演示-六虎

一、LVS 概述

LVS是Linux Virtual Server的缩写，是一种依据Linux内核完成的高可用性、高性能的负载均衡技能。它能够将来自客户端的恳求分发到多台服务器上，完成多台服务器的负载均衡，进步整个系统的性能和可用性。

LVS技能首要包括以下几个组件：

LVS调度器：担任接纳客户端恳求并将其分发到后端的实在服务器上，依据不同的负载均衡算法进行分发。
实在服务器：处理来自调度器的恳求并回来呼应，供给实践的服务。
Keepalived：LVS的高可用组件，用于监控LVS调度器的状况并在发生毛病时主动切换到备用调度器，以确保服务的高可用性。
IPVS：内核中完成LVS技能的模块，完成负载均衡算法和恳求分发等功用。

LVS技能广泛应用于互联网服务、网络游戏、数据中心等领域，能够进步系统的性能和可用性，下降系统的保护成本。

二、LVS 根本操作

1）根本命令操作

1、增加规矩

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p timeout] [-M netmast] [--pepersistence_engine] [-b sched-flags]

2、删去规矩

ipvsadm -D -t|u|f service-address

3、清空界说的一切内容

ipvsadm -C

4、重载

ipvsadm -R

6、保存

ipvsadm -S [-n]

7、增、改RS规矩

ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

8、删去RS规矩

ipvsadm -d -t|u|f service-address -r server-address

9、查看规矩列表

ipvsadm -Ln|l [options]
　--numeric, -n: 以数字方法输出地址和端口号
　--exact: 扩展信息，准确值
　--stats: 计算信息
　--rate: 输出速率信息

10、清空计数器

ipvsadm -Z [-t|u|f service-address]

11、ipvs规矩

/proc/net/ip_vs

12、ipvs衔接

/proc/net/ip_vs_conn

2）保存及重载规矩

1、保存

建议保存至 /etc/sysconfig/ipvsadm

ipvsadm-save -n > /PATH/TO/IPVSADM_FILE
ipvsadm -Sn > /PATH/TO/IPVSADM_FILE
systemctl stop ipvsadm.service

2、重载

ipvsadm-restore < /PATH/TO/IPVSADM_FILE
ipvsadm -R < /PATH/TO/IPVSADM_FILE
systemctl restart ipvsadm.service

三、LVS 四种形式实战操作讲解

1）NAT 形式

1、规划要点

RIP与DIP在同一IP网络，RIP的网关要指向DIP
支撑端口映射
Director要翻开中心转发功用

2、装备

1、管理集群服务：增，改，删

增、改

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p timeout]

删去：

ipvsadm -D -t|u|f service-address

service-address:

-t|u|f:
-t：TCP协议的端口，VIP：TCP_PORT
-u：UDP协议的端口，VIP：UDP_PORT
-f：firewall MARK，符号，一个数字
[-s scheduler]：指定集群的调度算法：默许为wlc

2、管理集群上的RS：增、改、删

增、改：ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
server-address: rip[:port] 如省掉port，不作端口映射
选项：lvs类型：

-g：gateway, dr类型，默许
-i：ipip, tun类型
-m：masquerade，nat类型
-w weight：权重

3、ipvs scheduler

ipvs scheduler：依据其调度是否考虑各RS当时的负载状况两种：静态办法和动态办法
静态办法：仅依据算法自身进行调度

1、RR: roundrobin, 轮训
2、WRR: Weighted RR, 加权轮训
3、SH: Source Hashing, 完成session sticky, 源IP地址hash; 将来自同一个IP地址的恳求一直发往第一次挑中的RS，然后完成会话绑定
4、DH: Destination Hashing; 目标地址哈希，将发往同一个目标地址的恳求一直转发至第一次挑中的RS, 典型运用场景是正向代理缓存场景中的负载均衡，如：带宽运营商

4、试验：完成NAT形式的LVS（有必要原路回来）

ip_forward=1
route add default gw 192.168.0.201
# -t:tcp, -s wrr:加权 轮训
ipvsadm -A -t 172.20.0.200:80 -s wrr
# -m: NAT形式；默许：DR形式，不支撑映射到不同端口；-w：权重,默许是1
ipvsadm -a -t 172.20.0.200:80 -r 192.168.30.17:8080 -m -w 3
ipvsadm -a -t 172.20.0.200:80 -r 192.168.30.27:8080 -m
2.router：路由器装备
ip_forward=1
route add default gw 192.168.0.200

2）DR 形式

1、DR模型中各主机上均需求装备VIP，解决地址冲突的方法有三种：

在前端网关做静态绑定
在各RS运用arptables
在各RS修正内核参数，来约束arp呼应和布告的等级

2、约束呼应等级：arp_ignore

0：默许值，表明可运用本地恣意接口上装备在恣意地址呼应
1：仅在恳求目标IP装备在本地主机的接纳到恳求报文的接口上时，才给予呼应

3、约束布告等级：arp_announce

0：默许值，把本机一切接口的一切信息向每个接口的网络进行告诉
1：尽量防止将接口信息向非直接衔接网络进行告诉
2：有必要防止将接口信息向非网络进行布告

4、试验：完成DR形式的LVS（不原路回来）

过程一：预备3台虚拟机
过程二：先装备3台虚拟机的网络

eth0 装备在一个网段
DIP,RIP装备在一个网段

过程三：装备lvs的VIP

ifconfig ens33:0 192.168.182.100/24
echo "1" > /proc/sys/net/ipv4/ip_forward

过程四（RS）：调整RS的呼应，布告等级（每一台RS都配）

echo 1 > /proc/sys/net/ipv4/conf/ens33/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/ens33/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

过程五：在RS上装备VIP

ifconfig lo:8 192.168.182.100 netmask 255.255.255.255

过程六：发动RS上的httpd服务

yum install httpd -y
cd /var/www/html
vi index.html
service httpd start
客户端验证：RIP:80能显现
VIP:80不能显现

过程七：装置 LVS—ipvsadm

yum install ipvsadm -y
# -t:tcp, -s rr:轮训
ipvsadm -A -t 192.168.182.100:80 -s rr
# -m: NAT形式；默许：DR形式，不支撑映射到不同端口；-w：权重,默许是1；-g：DR模型，-m：NET模型
ipvsadm -a -t 192.168.182.128:80 -r 192.168.182.129 -g
ipvsadm -a -t 192.168.182.128:80 -r 192.168.182.130 -g
ipvsadm -ln
# 浏览器刷新：拜访vip
ipvsadm -lnc
netstat -natp

3）TUN形式

4）FULL-NAT形式

四、Keepalived + LVS 实战操作

Keepalived 是一个用于 Linux 渠道的高可用性软件。它完成了虚拟路由器冗余协议 (VRRP) 和健康查看功用，能够用于确保在多台服务器之间供给服务的高可用性。Keepalived 能够检测服务器的毛病，并在主服务器宕机时，主动将备份服务器提高为主服务器，确保服务的持续性和可用性。

Keepalived 能够在主备服务器之间动态分配虚拟 IP 地址，使客户端能够在主备服务器之间无缝切换，进步服务的可用性。此外，Keepalived 还支撑依据文本文件的装备和依据 SNMP 的监控。它能够与常用的负载均衡器配合运用，如 HAProxy、Nginx 等。

总的来说，Keepalived 是一个功用强大的工具，可用于供给高可用性服务。它是一个免费的开源软件，广泛应用于企业和个人服务器环境中。

架构图如下：

1） keepalived 装置以及根本操作

# 装置
yum install keepalived -y
# 发动
service keepalived start
# 装备文件方位
/etc/keepalived/keepalived.conf
# 查看日志
tail -f /var/log/message

2）详细装备过程

【过程一】至少预备四台虚拟机
【过程二】调整RS的呼应，布告等级（每一台RS都配）

echo 1 > /proc/sys/net/ipv4/conf/ens33/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/ens33/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

过程三：在RS上装备VIP，切记(DR形式)不要忘了在RS装备VIP,要不然数据包会被丢弃

ifconfig lo:8 192.168.182.100 netmask 255.255.255.255

过程四：在RS装置发动httpd服务

yum install httpd -y
cd /var/www/html
echo "from ooxxip" > index.html
service httpd start

过程五：给两台keepalived机子装置keepalived（一主一备）

yum -y install keepalived
yum -y install ipvsadm

过程六：装备keepalived装备文件

主节点装备：

# /etc/keepalived/keepalived.conf
! Configuration File for keepalived
    global_defs {
       notification_email {
         acassen@firewall.loc
         failover@firewall.loc
         sysadmin@firewall.loc
       }
       notification_email_from Alexandre.Cassen@firewall.loc
       smtp_server 192.168.200.1
       smtp_connect_timeout 30
       router_id LVS_DEVEL
       vrrp_skip_check_adv_addr
       # vrrp_strict 假如还是拜访不了VIP，能够把这行注释掉
       vrrp_garp_interval 0
       vrrp_gna_interval 0
    }
    vrrp_instance VI_1 {
        # 主
        state MASTER
        # 备
        # state BACKUP
        interface ens33
        virtual_router_id 51
        # 主
        priority 100
        # 备
        # priority 50
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }
        virtual_ipaddress {
            192.168.182.100/32 dev ens33 label ens33:7
        }
    }
    virtual_server 192.168.182.100 80 {
        delay_loop 6
        lb_algo rr
        lb_kind DR　　　　　nat_mask 255.255.255.0
        persistence_timeout 0
        protocol TCP
        real_server 192.168.182.130 80 {
            weight 1
            HTTP_GET {
                url {
                  path /
                  status_code 200
                }
                connect_timeout 3
                nb_get_retry 3
                delay_before_retry 3
            }
        }
        real_server 192.168.182.131 80 {
            weight 1
            HTTP_GET {
                url {
                  path /
                  status_code 200
                }
                connect_timeout 3
                nb_get_retry 3
                delay_before_retry 3
            }
        }
    }

从节点装备：

# 仿制一份修正好的装备到从主机，修正 1、state BACKUP，2、priority 50
cd /etc/keepalived/ && scp ./keepalived.conf root@192.168.182.129:`pwd`
# 发动
/bin/systemctl start keepalived.service
# RS切记关闭防火墙，假如web也拜访不了，lvs也能够关闭防火墙试试
systemctl stop firewalld
# 查看是否装备了VIP
#查看是否装备了规矩
# 主未挂，备则会主动装备规矩,但是不会装备VIP，确保只有一个VIP对外供给服务
# 一旦主挂了，则备接收（测验，down掉主网卡：ifconfig ens33 down）

缺点：脑裂问题

【剖析原因】：keepalived自身不是高可用，主进程或许会被杀死，但是进程杀死后，没有收回VIP，导致主keepalived无法播送，备keepalived得不到主的播送信号，导致备也会配上VIP，使得主备都有VIP，最终CIP拜访VIP的三次握手或许会被打散到主备keepalived上，无法树立衔接，导致无法拜访。

【解决方案】：

写一个主动脚本，守时巡检主keepalived进程是否还存活，假如被杀死，则重启主keepalived服务
换用更高级的高可用技能（zookeeper），后续会有zookeeper相应的文章

最终附上keepalived装备文件说明：

! Configuration File for keepalived
global_defs {                                     #全局界说部分
    notification_email {                          #设置报警邮件地址，可设置多个
        acassen@firewall.loc                      #接纳告诉的邮件地址
    }                        
    notification_email_from test0@163.com         #设置 发送邮件告诉的地址
    smtp_server smtp.163.com                      #设置 smtp server 地址，但是ip或域名.可选端口号 （默许25）
    smtp_connect_timeout 30                       #设置 衔接 smtp server的超时时刻
    router_id LVS_DEVEL                           #主机标识，用于邮件告诉
    vrrp_skip_check_adv_addr                   
    vrrp_strict                                   #严格履行VRRP协议规范，此形式不支撑节点单播
    vrrp_garp_interval 0                       
    vrrp_gna_interval 0     
    script_user keepalived_script                 #指定运转脚本的用户名和组。默许运用用户的默许组。如未指定，默许为keepalived_script 用户，如无此用户，则运用root
    enable_script_security                        #如过路径为非root可写，不要装备脚本为root用户履行。
}       
vrrp_script chk_nginx_service {                   #VRRP 脚本声明
    script "/etc/keepalived/chk_nginx.sh"         #周期性履行的脚本
    interval 3                                    #运转脚本的距离时刻，秒
    weight -20                                    #权重，priority值减去此值要小于备服务的priority值
    fall 3                                        #检测几回失利才为失利，整数
    rise 2                                        #检测几回状况为正常的，才承认正常，整数
    user keepalived_script                        #履行脚本的用户或组
}                                             
vrrp_instance VI_1 {                              #vrrp 实例部分界说，VI_1自界说称号
    state MASTER                                  #指定 keepalived 的人物，有必要大写 可选值：MASTER|BACKUP
    interface ens33                               #网卡设置，lvs需求绑定在网卡上，realserver绑定在回环口。差异：lvs对拜访为外，realserver为内不易露出本机信息
    virtual_router_id 51                          #虚拟路由标识，是一个数字，同一个vrrp 实例运用仅有的标识，MASTER和BACKUP 的 同一个 vrrp_instance 下 这个标识有必要保持共同
    priority 100                                  #界说优先级，数字越大，优先级越高。
    advert_int 1                                  #设定 MASTER 与 BACKUP 负载均衡之间同步查看的时刻距离，单位为秒，两个节点设置有必要相同
    authentication {                              #设置验证类型和密码，两个节点有必要共同
        auth_type PASS                        
        auth_pass 1111                        
    }                                         
    virtual_ipaddress {                           #设置虚拟IP地址，能够设置多个虚拟IP地址，每行一个
        192.168.119.130                       
    }
    track_script {                                #脚本监控状况
        chk_nginx_service                         #可加权重，但会覆盖声明的脚本权重值。chk_nginx_service weight -20
    }
        notify_master "/etc/keepalived/start_haproxy.sh start"  #当时节点成为master时，告诉脚本履行任务
        notify_backup "/etc/keepalived/start_haproxy.sh stop"   #当时节点成为backup时，告诉脚本履行任务
        notify_fault  "/etc/keepalived/start_haproxy.sh stop"   #当当时节点呈现毛病，履行的任务; 
}                                             
virtual_server 192.168.119.130 80  {          #界说RealServer对应的VIP及服务端口，IP和端口之间用空格离隔
    delay_loop 6                              #每隔6秒查询realserver状况
    lb_algo rr                                #后端调试算法（load balancing algorithm）
    lb_kind DR                                #LVS调度类型NAT/DR/TUN
    #persistence_timeout 60                   同一IP的衔接60秒内被分配到同一台realserver
    protocol TCP                              #用TCP协议查看realserver状况
    real_server 192.168.119.120 80 {          
        weight 1                              #权重，最大越高，lvs就越优先拜访
        TCP_CHECK {                           #keepalived的健康查看方法HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISC
            connect_timeout 10                #10秒无呼应超时
            retry 3                           #重连次数3次
            delay_before_retry 3              #重连距离时刻
            connect_port 80                   #健康查看realserver的端口
        }                                     
    }                                         
    real_server 192.168.119.121 80 {          
        weight 1                              #权重，最大越高，lvs就越优先拜访
        TCP_CHECK {                           #keepalived的健康查看方法HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISC
            connect_timeout 10                #10秒无呼应超时
            retry 3                           #重连次数3次
            delay_before_retry 3              #重连距离时刻
            connect_port 80                   #健康查看realserver的端口
        }                                     
    }                                         
}                                             
vrrp_instance VI_2 {                          #vrrp 实例部分界说，VI_1自界说称号
    state   BACKUP                            #指定 keepalived 的人物，有必要大写 可选值：MASTER|BACKUP 别离表明（主|备）
    interface ens33                           #网卡设置，绑定vip的子接口，lvs需求绑定在网卡上，realserver绑定在回环口。差异：lvs对拜访为外，realserver为内不易露出本机信息
    virtual_router_id 52                      #虚拟路由标识，是一个数字，同一个vrrp 实例运用仅有的标识，MASTER和BACKUP 的 同一个 vrrp_instance 下 这个标识有必要保持共同
    priority 90                               #界说优先级，数字越大，优先级越高。
    advert_int 1                              #设定 MASTER 与 BACKUP 负载均衡之间同步查看的时刻距离，单位为秒，两个节点设置有必要相同
    authentication {                          #设置验证类型和密码，两个节点有必要共同
        auth_type PASS                        
        auth_pass 1111                        
    }                                         
    virtual_ipaddress {                       #设置虚拟IP地址，能够设置多个虚拟IP地址，每行一个
        192.168.119.131                       
    }                                         
}                                             
virtual_server 192.168.119.131 80 {           #界说RealServer对应的VIP及服务端口，IP和端口之间用空格离隔
    delay_loop 6                              #每隔6秒查询realserver状况
    lb_algo rr                                #后端调试算法（load balancing algorithm）
    lb_kind DR                                #LVS调度类型NAT/DR/TUN
    #persistence_timeout 60                   #同一IP的衔接60秒内被分配到同一台realserver
    protocol TCP                              #用TCP协议查看realserver状况
    real_server 192.168.119.120 80 {          
        weight 1                              #权重，最大越高，lvs就越优先拜访
        TCP_CHECK {                           #keepalived的健康查看方法HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISC
            connect_timeout 10                #10秒无呼应超时
            retry 3                           #重连次数3次
            delay_before_retry 3              #重连距离时刻
            connect_port 80                   #健康查看realserver的端口
        }                                     
    }                                         
    real_server 192.168.119.121 80 {          
        weight 1                              #权重，最大越高，lvs就越优先拜访
        TCP_CHECK {                           #keepalived的健康查看方法HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISC
            connect_timeout 10                #10秒无呼应超时
            retry 3                           #重连次数3次
            delay_before_retry 3              #重连距离时刻
            connect_port 80                   #健康查看realserver的端口
        }
    }
}

LVS + Keepalived 介绍和实战操作演示就先到这里了，有任何疑问欢迎给我留言，也可重视我的大众号【大数据与云原生技能共享】，后续会持续更新相关技能文章~。

LVS 和 Keepalived 介绍与实战操作演示

一、LVS 概述

二、LVS 根本操作

1）根本命令操作

1、增加规矩

2、删去规矩

3、清空界说的一切内容

4、重载

6、保存

7、增、改RS规矩

8、删去RS规矩

9、查看规矩列表

10、清空计数器

11、ipvs规矩

12、ipvs衔接

2）保存及重载规矩

1、保存

2、重载

三、LVS 四种形式实战操作讲解

1）NAT 形式

1、规划要点

2、装备

3、ipvs scheduler

4、试验：完成NAT形式的LVS（有必要原路回来）

2）DR 形式

1、DR模型中各主机上均需求装备VIP，解决地址冲突的方法有三种：

2、约束呼应等级：arp_ignore

3、约束布告等级：arp_announce

4、试验：完成DR形式的LVS（不原路回来）

3）TUN形式

4）FULL-NAT形式

四、Keepalived + LVS 实战操作

1） keepalived 装置以及根本操作

2）详细装备过程

作者信息

推广

LVS 和 Keepalived 介绍与实战操作演示

一、LVS 概述

二、LVS 根本操作

1）根本命令操作

1、增加规矩

2、删去规矩

3、清空界说的一切内容

4、重载

6、保存

7、增、改RS规矩

8、删去RS规矩

9、查看规矩列表

10、清空计数器

11、ipvs规矩

12、ipvs衔接

2）保存及重载规矩

1、保存

2、重载

三、LVS 四种形式实战操作讲解

1）NAT 形式

1、规划要点

2、装备

3、ipvs scheduler

4、试验：完成NAT形式的LVS（有必要原路回来）

2）DR 形式

1、DR模型中各主机上均需求装备VIP，解决地址冲突的方法有三种：

2、约束呼应等级：arp_ignore

3、约束布告等级：arp_announce

4、试验：完成DR形式的LVS（不原路回来）

3）TUN形式

4）FULL-NAT形式

四、Keepalived + LVS 实战操作

1） keepalived 装置以及根本操作

2）详细装备过程

相关文章

Go语言实现GoF设计模式：备忘录模式的实践探索

命令行玩转 Git

Android项目cicd流程总结（使用jenkins）

百度工程师带你探秘C++内存管理（理论篇）

作者信息

推广