Java架构直通车：LVS+Nginx实现高可用集群

# 安装依赖
yum install -y gcc-c++ # 安装 gcc 环境
yum install -y pcre pcre-devel # 安装 PRCE 库，用于解析正则表达式
yum install -y zlib zlib-devel 
yum install -y openssl openssl-devel  # https协议
wget http://nginx.org/download/nginx-1.16.1.tar.gz # 下载稳定版
tar -zxvf nginx-1.16.1.tar.gz # 解压
mkdir -p /var/temp/nginx # 创建临时目录
cd nginx-1.16.1/
    ./configure     --prefix=/usr/local/nginx     --pid-path=/var/run/nginx/nginx.pid     --lock-path=/var/lock/nginx.lock     --error-log-path=/var/log/nginx/error.log     --http-log-path=/var/log/nginx/access.log     --with-http_gzip_static_module     --http-client-body-temp-path=/var/temp/nginx/client     --http-proxy-temp-path=/var/temp/nginx/proxy     --http-fastcgi-temp-path=/var/temp/nginx/fastcgi     --http-uwsgi-temp-path=/var/temp/nginx/uwsgi     --http-scgi-temp-path=/var/temp/nginx/scgi --with-http_ssl_module
make && make install
cd /usr/local/nginx/sbin/ # conf 等目录均位于/usr/local/nginx/中
./nginx           # 启动
./nginx -s stop   # 直接停止
./nginx -s quit   # 优雅停止
./nginx -s reload # 重新加载
./nginx -t        # 检测配置文件
./nginx -v        # 查看 Nginx 版本
./nginx -V        # 查看版本及编译信息

ps -ef|grep nginx # 查看 Nginx 进程
# 修改 worker 进程数
vi conf/nginx.conf
worker_processes  2;

# vi conf/nginx.conf
# 设置工作模式
events {
    # 默认使用 epoll，因此可省略
    use epoll;
    # 每个 worker 允许连接客户端最大连接数，可根据实际情况进行修改
    worker_connections  10240;
}

main 全局配置
events 配置工作模式及连接数
http http 模块相关配置
 |_server 虚拟主机配置，可以有多个
    |_location 路由规则，表达式
    |_upstream 集群，内网服务器

user  root; # worker进程的用户，默认为 nobody
worker_processes  1; # 工作进程数，通常同 CPU 数量或 N-1
# error_log日志级别 debug|info|notice|warn|error|crit|alert|emerg，级别从左到右越来越大
pid        logs/nginx.pid; # Nginx 进程 pid
# http 指令块，对 http 网络传输的一些指令配置
http {
}
 
include       mime.types; # include 引入外部配置，提高可读性，避免单个配置文件过大
# 日志格式中main为格式名称，供access_log等调用，日志中各项请见下表
# sendfile 使用高效文件传输，提升传输性能；启用后才能使用tcp_nopush，是指当数据表累积一定大小后才发送，提高了效率
sendfile        on;
tcp_nopush     on;
# keepalive_timeout设置客户端与服务端请求的超时时间，保证客户端多次请求的时候不会重复建立新的连接，节约资源损耗
keepalive_timeout  65;

# 日志切割脚本
# vi cut_my_log.sh
 
#!/bin/bash
LOG_PATH="/var/log/nginx/"
RECORD_TIME=$(date -d "yesterday" +%Y-%m-%d)
PID=/var/run/nginx/nginx.pid
mv ${LOG_PATH}/access.log ${LOG_PATH}/access.${RECORD_TIME}.log
mv ${LOG_PATH}/error.log ${LOG_PATH}/error.${RECORD_TIME}.log
#向Nginx主进程发送信号，用于重新打开日志文件
kill -USR1 `cat $PID`
 
# 手动切割
chmod u+x cut_my_log.sh
./cut_my_log.sh
# 自动切割可通过定时任务，如未安装yum install -y crontabs
crontab -e
* * */1 * * /usr/local/nginx/sbin/cut_my_log.sh
# crontab -l 查看
service crond restart # 重启

server {
..
        location /xxx{
                root /home;
        }
 
        location /static{
                alias /home/xxx;
        }
}

空格：默认匹配、普通匹配
location / {
    root /home;
}
=：精确匹配
location = /xxx.png {
    root /home;
}
~*：匹配正则表达式，不区分大小写
location ~* \.(GIF|jpg|png|jpeg) {
    root /home;
}
~：匹配正则表达式，区分大小写
location ~ \.(GIF|jpg|png|jpeg) {
    root /home;
}
^~：以某个字符路径开头
location ^~ /xxx/img {
    root /home;
}

# SpringBoot
CorsConfiguration config = new CorsConfiguration();
config.addAllowedOrigin("http://www.xxx.com");
# 设置是否发送 cookie 信息
config.addAllowCredentials(true);
# 设置允许请求的方式
config.addAllowedMethod("*");
#设置允许的 header
config.addAllowedHeader("*");
 
 
# Nginx
server{
...
    # 允许跨域请求的域，*代表所有
    add_header ‘Access-Control-Allow-Origin‘ *;
    # 允许带上 cookie 请求
    add_header ‘Access-Control-Allow-Credentials‘ ‘true‘;
    # 允许请求的方法，比如 GET/POST/PUT/DELETE
    add_header ‘Access-Control-Allow-Methods‘ *;
    # 允许请求的 header
    add_header ‘Access-Control-Allow-Headers‘ *;
...
}

server{
..
    # 对源站点验证
    valid_referers *.xxx.com;
    # 非法引入会进入下方判断
    if($invalid_referer) {
        return 404;
    }
...
}

#配置上游服务器
upstream xxx {
	server 172.17.0.2:8080;
	server 172.17.0.3:8080;
	server 172.17.0.4:8080;
}
 
server {
	listen: 80;
	server_name www.xxx.com;
	location / {
		proxy_pass http://xxx;
	}
}

proxy_http_version 1.1; # 设置长连接 http 版本为1.1
proxy_set_header Connection ""; # 清除 connection header 信息

upstream xxx {
    ip_hash;
    server ...
}

upstream xxx {
 hash $request_uri;
 server ...
 }

nginx -V
# 如未安装需进入Nginx 源码目录重新编译，在原命令基础上添加--with-http_ssl_module再进行编译安装
 
./configure --prefix=/usr/local/nginx ... --with-http_ssl_module

server {
	listen 443;
	...
 
	# 开启ssl
	ssl on;
	# 配置ssl证书
	ssl_certificate xxx.crt;
	ssl_certificate_key xxx.key;
 
	# ssl会话缓存 
	ssl_session_cache shared:SSL:1m;
	# ssl会话超时时间
	ssl_session_timeout 5m;
 
	# 配置加密套件，写法遵循 openssl 标准
	ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
	ssl_ciphers EECDH+CHACHA20:EECDH+AES128:RSA+AES128:EECDH+AES256:RSA+AES256:EECDH+3DES:RSA+3DES:!MD5;
	ssl_prefer_server_ciphers  on; 
}

tar -zxvf keepalived-2.0.19.tar.gz
cd keepalived-2.0.19/
./configure --prefix=/usr/local/keepalived --sysconf=/etc
make && make install

# vi /etc/keepalived/keepalived.conf
lobal_defs {
   # 路由id: 当前安装Keepalived 节点主机的标识符，要求全局唯一
   router_id LVS_151
}
 
# 计算机节点
vrrp_instance VI_1 {
    # 表示状态，MASTER/BACKUP
    state MASTER
    # 当前实例绑定的网卡，根据实际状况配置
    interface eth0
    # 保证主备节点一致即可
    virtual_router_id 51
    # 优先级/权重，优先级高的在主节点故障时优先成为主机点
    priority 100
    # 主备之间同步检查的时间间隔，默认1s
    advert_int 1
    # 认证授权的密码，防止非法节点的进入
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    # 虚拟IP地址，可以有多个
    virtual_ipaddress {
        192.168.1.161
    }
}

cd /usr/local/keepalived/sbin/
./keepalived
# 此时停止服务需使用 ps -ef|grep keepalived 获取进程号然后执行 kill -9 [pid]
# 注册为系统服务，需进入源码目录拷贝一些文件
cd keepalived-2.0.19/keepalived/etc/
cp init.d/keepalived /etc/init.d/
cp sysconfig/keepalived /etc/sysconfig/
systemctl daemon-reload # 刷新服务
# 此时即可以系统服务操作 keepalived 了
systemctl start keepalived.service

#!/bin/bash
 
A=`ps -C nginx --no-header |wc -l`
# 判断Nginx是否宕机，如果宕机了，尝试重启
if [ $A -eq 0 ];then
        /usr/local/nginx/sbin/nginx
        # 等待一会再次检查Nginx，如果没有启动成功，则停止Keepalived，使其启动备用机
        sleep 3
        if [ `ps  -C nginx --no-header |wc -l` -eq 0 ];then
                killall keepalived
        fi
fi

chmod +x check_nginx_alive_or_not.sh
# vi /etc/keepalived/keepalived.conf
 
vrrp_script check_nginx_alive {
        script "/etc/keepalived/check_nginx_alive_or_not.sh"
        interval 2 # 每隔两秒运行上一行脚本
        # weight 10 # 如果脚本运行成功，则升级权重+10
        weight -10 # 如果脚本运行失败，则降低权重-10 
}
 
vrrp_instance VI_1 {
...
    track_script {
        check_nginx_alive # 追踪 Nginx 脚本
    }
...
}

vrrp_instance VI_2 {
    state MASTER
    interface eth0
    virtual_router_id 52
    priority 100
    ...
    virtual_ipaddress {
        192.168.1.162
    }
}

# LVS及Nginx服务器上关闭网络配置管理器，避免本地服务器的网络接口冲突
systemctl stop NetworkManager
systemctl disable NetworkManager
 
# 虚拟IP配置（LVS）
cd /etc/sysconfig/network-scripts/
# vi ifcfg-eth0:1（可拷贝ifcfg-eth0进行修改，根据不同机器eth0可能会存在变化，只需保留如下几行）
BOOTPROTO="static"
DEVICE="eth0:1"
ONBOOT="yes"
IPADDR=192.168.1.150
NETMASK=255.255.255.0
# 重启网络让配置生效
service network restart
 
# 安装集群管理工具（LVS服务器）
yum install -y ipvsadm
# 查看集群信息
ipvsadm -Ln
 
# 虚拟 IP 配置（Nginx）
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:1
# vi ifcfg-lo:1，仅修改如下行，其余保留不变
DEVICE=lo:1
IPADDR=192.168.1.150
NETMASK=255.255.255.255
# 重启网络
ifup lo # 或 systemctl restart network

# vi /etc/sysctl.conf（Nginx服务器上）
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
 
# 刷新配置
sysctl -p
 
# 增加网关，用于接收数据报文，将到达本地的请求交给 lo 处理
route add -host 192.168.0.150 dev lo:1 # 若无命令执行yum install net-tools -y安装
route -n # 查看
route delete # 删除
# 设置开机配置，避免重启后配置失效
echo "route add -host 192.168.0.150 dev lo:1" >> /etc/rc.local

ipvsadm -A -t 192.168.1.150:80 -s rr
# 编辑：ipvsadm -E  -t 192.168.1.150:80 -s rr -p 5
ipvsadm -a -t 192.168.1.150:80 -r 192.168.1.171:80 -g
ipvsadm -a -t 192.168.1.150:80 -r 192.168.1.172:80 -g
ipvsadm -S # 保存规则避免重启失效
# 相关参数说明请参见 ipvsadm -h
# 查看 ipvsadm -Ln
# 查看持久化连接:  ipvsadm -Ln --persistent-conn
# 查看请求过期时间及源IP和目标IP: ipvsadm -Lnc
# 查看状态: ipvsadm -Ln --status
 
# 设置tcp tcpfin udp 的过期时间（通常保持默认，以下设置用于测试）
ipvsadm --set 1 1 1 
# 查看过期时间
ipvsadm -Ln --timeout

global_defs {
   ...
}
 
vrrp_instance VI_1 {
    ...
}
 
# 配置集群地址访问的 IP+端口，端口和 Nginx 保持一致
virtual_server 192.168.1.150 80 {
    # 健康检查时间，单位：秒
    delay_loop 6
    # 配置负载均衡算法，默认是轮询
    lb_algo rr
    # 设置LVS的模式：NAT|TUN|DR
    lb_kind DR
    # 设置会话持久化时间
    persistence_timeout 10 
    # 协议
    protocol TCP
    # 负载均衡真实服务器，即Nginx节点 IP
    real_server 192.168.1.171 80 {
        # 轮询的默认权重配比
        weight 1
        # 设置健康检查
        TCP_CHECK {
            # 检查的端口
            connect_port 80
            # 超时时间
            connect_timeout 2
            # 重试次数(s)
            nb_get_retry 5
            # 间隔时间(s)
            delay_before_retry 3
        }
    }
 
    real_server 192.168.1.172 80 {
        weight 1
        ...
    }
}
 
# 清除此前规则
ipvsadm -C
systemctl restart keepalived

mkdir /var/run/nginx
/usr/local/nginx/sbin/nginx -s reload # 未启动则直接执行/usr/local/nginx/sbin/nginx

/usr/local/nginx
sbin/nginx -c conf/nginx.conf # 指定配置文件
sbin/nginx -s reload

docker inspect --format=‘{{.GraphDriver.Data.MergedDir}}‘ 容器 ID 或名称

yum -y install libnl libnl-devel