负载均衡（Load Balance）集群提供了一种廉价、有效、透明的方法，来扩展网络设备和服务器的负载、带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。
单台计算机无法承受大规模的并发访问或数据流量了，此时需要搭建负载均衡集群把流量分摊到多台节点设备上分别处理，即减少用户等待响应的时间又提升了用户体验；
7*24小时的服务保证，任意一个或多个有限后端节点设备宕机，不能影响整个业务的运行。

LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统，可以在UNIX/LINUX平台下实现负载均衡集群功能。它是由章文嵩博士于98年在国防科技大学读博的时候创建的开源项目，是中国国内最早出现的开源软件项目之一。从Linux 2.4开始，LVS的代码已经进入了官方内核中，并得到了广泛的应用。

官网：http://www.linuxvirtualserver.org/index.html
中文资料
LVS项目介绍           http://www.linuxvirtualserver.org/zh/lvs1.html 
LVS集群的体系结构     http://www.linuxvirtualserver.org/zh/lvs2.html 
LVS集群中的IP负载均衡技术  http://www.linuxvirtualserver.org/zh/lvs3.html
LVS集群的负载调度      http://www.linuxvirtualserver.org/zh/lvs4.html

简单一句话，当并发超过了Nginx上限，就可以使用LVS了。
日1000-2000W PV或并发请求1万以下都可以考虑用Nginx。
大型门户网站，电商网站需要用到LVS。

LVS无需安装
安装的是管理工具，第一种叫ipvsadm，第二种叫keepalive
ipvsadm是通过命令行管理，而keepalive读取配置文件管理
后面我们会用Shell脚本实现keepalive的功能

早在2.2内核时， IPVS就已经以内核补丁的形式出现。
从2.4.23版本开始，IPVS软件就合并到Linux内核的常用版本的内核补丁的集合。
从2.4.24以后IPVS已经成为Linux官方标准内核的一部分。

a)通过在调度器LB上修改数据包的目的MAC地址实现转发。注意，源IP地址仍然是CIP，目的IP地址仍然是VIP。
b)请求的报文经过调度器，而RS响应处理后的报文无需经过调度器LB，因此，并发访问量大时使用效率很高，比Nginx代理模式强于此处。
c)因DR模式是通过MAC地址的改写机制实现转发的，因此，所有RS节点和调度器LB只能在同一个局域网中。需要注意RS节点的VIP的绑定(lo:vip/32)和ARP抑制问题。
d)强调下：RS节点的默认网关不需要是调度器LB的DIP，而应该直接是IDC机房分配的上级路由器的IP(这是RS带有外网IP地址的情况)，理论上讲，只要RS可以出网即可，不需要必须配置外网IP，但走自己的网关，那网关就成为瓶颈了。
e)由于DR模式的调度器仅进行了目的MAC地址的改写，因此，调度器LB无法改变请求报文的目的端口。LVS DR模式的办公室在二层数据链路层（MAC），NAT模式则工作在三层网络层（IP）和四层传输层（端口）。
f)当前，调度器LB支持几乎所有UNIX、Linux系统，但不支持windows系统。真实服务器RS节点可以是windows系统。
g)总之，DR模式效率很高，但是配置也较麻烦。因此，访问量不是特别大的公司可以用haproxy/Nginx取代之。这符合运维的原则：简单、易用、高效。日1000-2000W PV或并发请求1万以下都可以考虑用haproxy/Nginx(LVS的NAT模式)
h)直接对外的访问业务，例如web服务做RS节点，RS最好用公网IP地址。如果不直接对外的业务，例如：MySQL，存储系统RS节点，最好只用内部IP地址。

ifconfig eth1:0 192.168.33.50 netmask 255.255.255.255 broadcast 192.168.33.50 up
route add -host 192.168.33.50 dev eth1:0
ipvsadm -D -t 192.168.33.50:80
ipvsadm -A -t 192.168.33.50:80 -s rr
ipvsadm -a -t 192.168.33.50:80 -r 192.168.33.20 -g
ipvsadm -a -t 192.168.33.50:80 -r 192.168.33.30 -g
ipvsadm -l --stats

三台linux机器

主机名        ip地址            软件
lb01  10.0.1.30     lvs keepalived
lb02  10.0.1.29     lvs  keepalived

web01 10.0.1.31            nginx(用作web展示)
web02 10.0.1.32            nginx(用作web展示)

# 防火墙
systemctl stop firewalld
systemctl disable firewalld

iptables -F

[root@web02 ~]# getenforce
Disabled


yum install -y wget 

# yum源，基础软件安装
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo


yum clean all



yum install -y bash-completion vim lrzsz wget expect net-tools nc nmap tree dos2unix htop iftop iotop unzip telnet sl psmisc nethogs glances bc ntpdate  openldap-devel git python-pip  gcc automake autoconf python-devel  sshpass lrzsz readline-devel lsof

yum install nginx -y # 利用nginx做基本的静态页面展示

echo "This is web01 page." > /usr/share/nginx/html/index.html
echo "This is web02 page." > /usr/share/nginx/html/index.html
# 启动nginx
nginx

[root@lb01 ~]# curl 10.0.1.32
This is web02 page.
[root@lb01 ~]#
[root@lb01 ~]#
[root@lb01 ~]# curl 10.0.1.31
This is web01 page.

# 检查系统内核加载的模块
执行lsmod指令，会列出所有已载入系统的模块。Linux操作系统的核心具有模块化的特性，应此在编译核心时，务须把全部的功能都放入核心。您可以将这些功能编译成一个个单独的模块，待需要时再分别载入。

# 检查系统是否支持ip_vs模块，默认是没开启的
[root@lb01 ~]# lsmod |grep ip_vs
[root@lb01 ~]#

# 安装工具
[root@lb01 ~]# yum install ipvsadm -y

# 激活LVS内核
[root@lb01 ~]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

# 检查系统模块支持
[root@lb01 ~]# lsmod |grep ip_vs
ip_vs                 141432  0
nf_conntrack          133053  1 ip_vs
libcrc32c              12644  3 xfs,ip_vs,nf_conntrack

[root@lb01 ~]# ip addr add 10.0.1.40 dev ens33

[root@lb01 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:49:da:2f brd ff:ff:ff:ff:ff:ff
    inet 10.0.1.30/24 brd 10.0.1.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 10.0.1.40/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::d972:afb:d0a9:7126/64 scope link noprefixroute
       valid_lft forever preferred_lft forever

[root@lb01 ~]# ipvsadm -C

[root@lb01 ~]# ipvsadm --set 30 5 60

[root@lb01 ~]# ipvsadm -A -t 10.0.1.40:80 -s wrr -p 20

[root@lb01 ~]# ipvsadm -a -t 10.0.1.40:80 -r 10.0.1.31:80 -g -w 1
[root@lb01 ~]# ipvsadm -a -t 10.0.1.40:80 -r 10.0.1.32:80 -g -w 1

[root@lb01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.0.1.40:80 wrr persistent 20
  -> 10.0.1.31:80                 Route   1      0          0
  -> 10.0.1.32:80                 Route   1      0          0

ip addr add 10.0.1.40/32  dev lo


[root@web01 ~]# ip addr add 10.0.1.40/32  dev lo
[root@web02 ~]# ip addr add 10.0.1.40/32  dev lo

arp说明
ARP协议,全称"Address Resolution Protocol",中文名是地址解析协议，使用ARP协议可实现通过IP地址获得对应主机的物理地址(MAC地址)。

ARP协议要求通信的主机双方必须在同一个物理网段（即局域网环境）！

为了系统ip和mac地址解析的效率，系统会把缓存结果保存下来，这个结果就是arp缓存。

Windows查看ARP缓存命令 arp -a

Linux查看ARP缓存命令 arp -n
[root@web01 ~]# arp -n
Address                  HWtype  HWaddress           Flags Mask            Iface
10.0.1.1                 ether   00:50:56:c0:00:02   C                     ens33
10.0.1.2                 ether   00:50:56:e0:bb:fd   C                     ens33
10.0.1.30                ether   00:0c:29:49:da:2f   C                     ens33
10.0.1.32                ether   00:0c:29:69:cf:24   C


Linux解析IP对应的MAC地址
[root@web01 ~]# arping -c 1 -I ens33 10.0.1.32
ARPING 10.0.1.32 from 10.0.1.31 ens33
Unicast reply from 10.0.1.32 [00:0C:29:69:CF:24]  0.857ms
Sent 1 probes (1 broadcast(s))
Received 1 response(s)

若是没有arp命令，安装yum install net-tools -y

arp作用是根据ip地址获取mac地址

[root@web01 ~]# cat >>/etc/sysctl.conf<<EOF
> net.ipv4.conf.all.arp_ignore = 1
> net.ipv4.conf.all.arp_announce = 2
> net.ipv4.conf.lo.arp_ignore = 1
> net.ipv4.conf.lo.arp_announce = 2
> EOF

# 让内核参数生效
[root@web01 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
[root@web01 ~]#


# 同样的操作，在web02也执行即可，注意

[root@web01 ~]# arping -I ens33 -c 1 -U 10.0.1.40  # 后面是VIP地址
ARPING 10.0.1.40 from 10.0.1.40 ens33
Sent 1 probes (1 broadcast(s))
Received 0 response(s)

[root@lb01 ~]# yum install keepalived -y
[root@lb01 ~]# rpm -qa keepalived
keepalived-1.3.5-16.el7.x86_64

[root@lb01 ~]# cp /etc/keepalived/keepalived.conf{,.bak}

[root@lb01 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
# 全局ip
global_defs {
   router_id LVS_01
}
# 实例配置
vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 150
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
    10.0.1.40/24
    }
}
# 虚拟服务器配置
virtual_server 10.0.1.40 80 {
    delay_loop 6
    lb_algo wrr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP
      # 真实服务器一
    real_server 10.0.1.31 80 {
        weight 1
    TCP_CHECK {
         connect_timeout 8
         nb_get_retry 3
         delay_before_retry 3
         connect_port 80
          }
        }
        # 真实服务器二
    real_server 10.0.1.32 80 {
        weight 1
    TCP_CHECK {
         connect_timeout 8
         nb_get_retry 3
         delay_before_retry 3
         connect_port 80
          }
        }


}

onnect_port 80         # 设置监控检查的端口
bindto  <IPADD>         # 设置健康检查的 IP 地址
connect_timeout   3     # 设置连接超时时间
nb_get_retry  3         # 设置重连次数
delay_before_retry  2   # 设置重连间隔

关于 keeplived 的虚拟主机配置有三种如下所示
virtual server IP port
virtual server fwmark int
virtual server group string

以常用的第一种为例
virtual_server 192.168.1.2 80
含义: 设置一个 virtual server: VIP:Vport

delay_loop 3
含义: 设置 service polling 的 delay 时间即服务轮询的时间间隔

lb_algo rr|wrr|lc|wlc|lblc|sh|dh
含义: 设置 LVS 调度算法

lb_kind NAT|DR|TUN
含义: 设置 LVS 集群模式

persistence_timeout 120
含义: 设置会话保持时间秒为单位即以用户在 120 秒内被分配到同一个后端 realserver, 超过此时间就重新分配

persistence_granularity
含义: 设置 LVS 会话保持粒度 ipvsadm 中的 - M 参数默认是 0xffffffff 即每个客户端都做会话保持

protocol TCP
含义: 设置健康检查用的是 TCP 还是 UDP

ha_suspend
含义: suspendhealthchecker’s activity

virtualhost
含义: HTTP_GET 做健康检查时检查的 web 服务器的虚拟主机即 host 头

sorry_server
含义: 设置 backupserver 就是当所有后端 realserver 节点都不可用时就用这里设置的也就是临时把所有的请求都发送到这里

real_server
含义: 设置后端真实节点主机的权重等设置主要后端有几台这里就要设置几个

weight 1
含义: 设置给每台的权重 0 表示失效 (不知给他转发请求知道他恢复正常) 默认是 1

inhibit_on_failure
含义: 表示在节点失败后把他权重设置成 0 而不是冲 IPVS 中删除

notify_up |
含义: 设置检查服务器正常 (UP) 后要执行的脚本
notify_down |
含义: 设置检查服务器失败 (down) 后要执行的脚本

注: keepalived 检查机制说明
keepalived 健康检查方式有: HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK 几种如下所示

1.安装keepalived服务

[root@lb02 ~]# yum install keepalived -y

2.修改配置文件
[root@lb02 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id LVS_02
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
     10.0.1.40/24
    }
}
virtual_server 10.0.1.40 80 {
    delay_loop 6
    lb_algo wrr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP

    real_server 10.0.1.31 80 {
        weight 1
        TCP_CHECK {
        connect_timeout 8
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }

    real_server 10.0.1.32 80 {
        weight 1
        TCP_CHECK {
        connect_timeout 8
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
}

systemctl restart network

[root@lb02 ~]# systemctl start keepalived

[root@lb01 ~]# systemctl start keepalived

1.停止 lb01的kp服务，检查lb02的vip漂移

2.启动lb01的kp服务，检查lb02的vip漂移

[root@lb01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.0.1.40:80 wrr persistent 50
  -> 10.0.1.31:80                 Route   1      0          0
  -> 10.0.1.32:80                 Route   1      0          0


[root@lb02 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.0.1.40:80 wrr persistent 50
  -> 10.0.1.31:80                 Route   1      0          0
  -> 10.0.1.32:80                 Route   1      0          0


[root@lb02 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.0.1.40:80 wrr persistent 50
  -> 10.0.1.31:80                 Route   1      0          0
  -> 10.0.1.32:80                 Route   1      0          0

1.抑制客户端arp解析
ip addr add 10.0.1.40/32 dev lo

2.修改内核参数，抑制arp响应
cat >>/etc/sysctl.conf<<EOF
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
EOF
sysctl -p

3.注意命令修改知识临时生效，可以写入rc.local，实现永久生效。

# 停止lb01的vip
[root@lb01 ~]# systemctl stop keepalived


# 检查lb02的vip
[root@lb02 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:69:cf:24 brd ff:ff:ff:ff:ff:ff
    inet 10.0.1.29/24 brd 10.0.1.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 10.0.1.40/24 scope global secondary ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::78d:ecac:9c74:2916/64 scope link noprefixroute
       valid_lft forever preferred_lft forever

[root@lb01 ~]# systemctl start keepalived

[root@web01 ~]# arping -c 1 -I ens33 10.0.1.40
ARPING 10.0.1.40 from 10.0.1.31 ens33
Unicast reply from 10.0.1.40 [00:0C:29:49:DA:2F]  0.974ms
Sent 1 probes (1 broadcast(s))
Received 1 response(s)