首页 > Web开发 > 详细

Kubernets二进制安装(6)之部署主控节点服务--etcd

时间:2020-04-02 19:49:51      阅读:100      评论:0      收藏:0      [点我收藏+]

Etcd是Kubernetes集群中的一个十分重要的组件,用于保存集群所有的网络配置和对象的状态信息。

整个kubernetes系统中一共有两个服务需要用到etcd用来协同和存储配置,分别是

  • 网络插件flannel、对于其它网络插件也需要用到etcd存储网络的配置信息
  • kubernetes本身,包括各种对象的状态和元信息配置

Etcd是CoreOS基于Raft开发的分布式key-value存储,可用于服务发现、共享配置以及一致性保障(如数据库选主、分布式锁等)

ETCD的主要功能:

  • 基本的key-value存储
  • 监听机制
  • key的过期及续约机制,用于监控和服务发现
  • 原子CAS和CAD,用于分布式锁和leader选举

Etcd集群规划

主机名 角色 IP地址
mfyxw20.mfyxw.com etcd lead 192.168.80.20
mfyxw30.mfyxw.com etcd follow 192.168.80.30
mfyxw40.mfyxw.com etcd follow 192.168.80.40

温馨提示:这里部署文档以mfyxw20.mfyxw.com主机为例,另外两台主机安装部署方法类似

1.创建基于根证书的config配置文件

温馨提示:在mfyxw50.mfyxw.com主机上创建证书的config配置文件
[root@mfyxw50 ~]#cd /opt/cert
[root@mfyxw50 ~]#cat > /opt/cert/ca-config.json << EOF
{
    "signing": {
       "default": {
          "expiry": "175200h"
       },
       "profiles": {
          "server": {
             "expiry": "175200h",
                "usages": [
                   "signing",
                   "key encipherment",
                   "server auth"
                 ]
          },
          "client": {
             "expiry": "175200h",
             "usages": [
                "signing",
                "key encipherment",
                "client auth"
             ]
          },
          "peer": {
             "expiry": "175200h",
             "usages": [
                "signing",
                "key encipherment",
                "server auth",
                "client auth"
             ]
          }
       }
    }
}
EOF

温馨提示:
1.server段:启动server端需要证书
2.client段:客户端连接server端需要证书,server端连接client端不需要证书
3.peer段:两边互相通信都需要证书(服务端找客户端需要证书,客户端找服务端也需要证书)

client certificate:客户端使用,用于服务端认证客户端 如:etcdctl、etcd proxy、fleetctl、                    docker客户端
server certificate:服务端使用,客户端以此验证服务端身份 如:docker服务端、kube-apiserver
peer certificate: 双向证书,用于etcd集群成员间通信

2.创建etcd证书请求文件

[root@mfyxw50 ~]#cat >/opt/cert/etcd-peer-csr.json << EOF
{
    "CN": "k8s-etcd",
    "hosts": [
        "192.168.80.10",
        "192.168.80.20",
        "192.168.80.30",
        "192.168.80.40"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "GuangDong",
            "L": "GuangZhou",
            "O": "od",
            "OU": "ops"
        }
    ]
}
EOF

温馨提示:
host段:表示您的etcd有可能需要部署在哪些主机上,有可能要部署的主机,都需要把IP填上,如果不添,它们通信就会出错,避免有机器坏了,可以部署在其它的主机上。

3.生成etcd互相通信的证书

#因为etcd集群都需要互相通信,故需要使用到peer段来生成证书
[root@mfyxw50 ~]#cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=peer etcd-peer-csr.json | cfssljson -bare etcd-peer

技术分享图片

4.创建etcd用户

#分别在mfyxw20,mfyxw30,mfyxw40创建etcd用户
[root@mfyxw20 ~]#useradd -s /sbin/nologin -M etcd
[root@mfyxw20 ~]#id
[root@mfyxw30 ~]#useradd -s /sbin/nologin -M etcd
[root@mfyxw30 ~]#id
[root@mfyxw40 ~]#useradd -s /sbin/nologin -M etcd
[root@mfyxw40 ~]#id

技术分享图片

5.下载ETCD

Etcd的链接地址:https://github.com/etcd-io/etcd/releases
#此实验使用Etcd-v3.1.20的版本,如下是此版本的下载链接,使用wget下载或迅雷下载再上传到服务器
Etcd-v3.1.20版本下载链接地址:https://github.com/etcd-io/etcd/releases/download/v3.1.20/etcd-v3.1.20-linux-amd64.tar.gz

#把etcd上传到服务器并解压到/opt目录(在mfyxw20机器上操作,mfyxw30和mfyxw40都一样操作)
[root@mfyxw20 ~]# tar xf etcd-v3.1.20-linux-amd64.tar.gz -C /opt
[root@mfyxw20 ~]#cd /opt
[root@mfyxw20 opt]#mv etcd-v3.1.20-linux-amd64/ etcd-v3.1.20 
[root@mfyxw20 opt]#ln -s etcd-v3.1.20 etcd
[root@mfyxw20 opt]#chown -R etcd.etcd /opt/etcd-v3.1.20/

技术分享图片

6.将生成etcd互相通信的证书分别上传到需要安装etcd的节点上

#分别在mfyxw20,mfyxw30,mfyxw40机器上创建/opt/etcd/certs
[root@mfyxw20 ~]#mkdir -p /opt/etcd/certs
[root@mfyxw30 ~]#mkdir -p /opt/etcd/certs
[root@mfyxw40 ~]#mkdir -p /opt/etcd/certs
[root@mfyxw50 cert]#scp -r ca.pem etcd-peer.csr etcd-peer-key.pem etcd-peer.pem 192.168.80.20:/opt/etcd/certs/
[root@mfyxw50 cert]#scp -r ca.pem etcd-peer.csr etcd-peer-key.pem etcd-peer.pem 192.168.80.30:/opt/etcd/certs/
[root@mfyxw50 cert]#scp -r ca.pem etcd-peer.csr etcd-peer-key.pem etcd-peer.pem 192.168.80.40:/opt/etcd/certs/

技术分享图片

7.分别查看三台(mfyxw20,mfyxw30,mfyxw40)机器的etcd私钥是否是600

[root@mfyxw20 ~]#ls -l /opt/etcd/certs/   #以一台机器查看为准,其它二台一样

技术分享图片

8.创建Etcd启动文件

#在mfyxw20.mfyxw.com主机创建etcd启动脚本
[root@mfyxw20 ~]#cat > /opt/etcd/etcd-server-startup.sh << EOF
#!/bin/sh
./etcd --name etcd-server-80-20        --data-dir /data/etcd/etcd-server        --listen-peer-urls https://192.168.80.20:2380        --listen-client-urls https://192.168.80.20:2379,http://127.0.0.1:2379        --quota-backend-bytes 8000000000        --initial-advertise-peer-urls https://192.168.80.20:2380        --advertise-client-urls https://192.168.80.20:2379,http://127.0.0.1:2379        --initial-cluster  etcd-server-80-20=https://192.168.80.20:2380,etcd-server-80-30=https://192.168.80.30:2380,etcd-server-80-40=https://192.168.80.40:2380        --ca-file ./certs/ca.pem        --cert-file ./certs/etcd-peer.pem        --key-file ./certs/etcd-peer-key.pem        --client-cert-auth         --trusted-ca-file ./certs/ca.pem        --peer-ca-file ./certs/ca.pem        --peer-cert-file ./certs/etcd-peer.pem        --peer-key-file ./certs/etcd-peer-key.pem        --peer-client-cert-auth        --peer-trusted-ca-file ./certs/ca.pem        --log-output stdout
EOF

#在mfyxw30.mfyxw.com主机创建etcd启动脚本
[root@mfyxw30 ~]#cat > /opt/etcd/etcd-server-startup.sh << EOF
#!/bin/sh
./etcd --name etcd-server-80-30        --data-dir /data/etcd/etcd-server        --listen-peer-urls https://192.168.80.30:2380        --listen-client-urls https://192.168.80.30:2379,http://127.0.0.1:2379        --quota-backend-bytes 8000000000        --initial-advertise-peer-urls https://192.168.80.30:2380        --advertise-client-urls https://192.168.80.30:2379,http://127.0.0.1:2379        --initial-cluster  etcd-server-80-20=https://192.168.80.20:2380,etcd-server-80-30=https://192.168.80.30:2380,etcd-server-80-40=https://192.168.80.40:2380        --ca-file ./certs/ca.pem        --cert-file ./certs/etcd-peer.pem        --key-file ./certs/etcd-peer-key.pem        --client-cert-auth         --trusted-ca-file ./certs/ca.pem        --peer-ca-file ./certs/ca.pem        --peer-cert-file ./certs/etcd-peer.pem        --peer-key-file ./certs/etcd-peer-key.pem        --peer-client-cert-auth        --peer-trusted-ca-file ./certs/ca.pem        --log-output stdout
EOF

#在mfyxw40.mfyxw.com主机创建etcd启动脚本
[root@mfyxw40 ~]#cat > /opt/etcd/etcd-server-startup.sh << EOF
#!/bin/sh
./etcd --name etcd-server-80-40        --data-dir /data/etcd/etcd-server        --listen-peer-urls https://192.168.80.40:2380        --listen-client-urls https://192.168.80.40:2379,http://127.0.0.1:2379        --quota-backend-bytes 8000000000        --initial-advertise-peer-urls https://192.168.80.40:2380        --advertise-client-urls https://192.168.80.40:2379,http://127.0.0.1:2379        --initial-cluster  etcd-server-80-20=https://192.168.80.20:2380,etcd-server-80-30=https://192.168.80.30:2380,etcd-server-80-40=https://192.168.80.40:2380        --ca-file ./certs/ca.pem        --cert-file ./certs/etcd-peer.pem        --key-file ./certs/etcd-peer-key.pem        --client-cert-auth         --trusted-ca-file ./certs/ca.pem        --peer-ca-file ./certs/ca.pem        --peer-cert-file ./certs/etcd-peer.pem        --peer-key-file ./certs/etcd-peer-key.pem        --peer-client-cert-auth        --peer-trusted-ca-file ./certs/ca.pem        --log-output stdout
EOF

温馨提示:
--data-dir:数据目录的路径
--listen-peer-urls:监听在对等节点流量上的URL列表,该参数告诉etcd在指定的协议://IP:port组                     合上授受来自其对等方的传入请求。协议可以是http或https。或者使用                           unix://<file-path>或unixs://<file-path>到unix sockets。如果将                         0.0.0.0作为IP,etcd将监听在所有的接口上的给定端口。如果给定了IP和端                       口,etcd将监听指定的接口和端口。可以使用多个URL指定要监听的地址和端口                     的数量。etcd将响应来自任何列出的地址我端口的请求
--listen-client-urls:监听在客户端流量上的URL列表,该参数告诉etcd在指定的协议://IP:port组                       合上接受来自客户端的传入请求。协议可以是http或https。或者使用                             unix://<file-path>或unixs://<file-path>到unix sockets。如果将                         0.0.0.0作为IP,etcd将监听在所有的接口上的给定端口。如果给定了IP和端                       口,etcd将监听指定的接口和端口。可以使用多个URL指定要监听的地址和端                       口的数量。etcd将响应来自任何列出的地址我端口的请求
--quota-backend-bytes:后端大小超过给定配额时引发警报(0默认为低空间配额)
--initial-advertise-peer-urls:此成员的对等URL的列表,以通告到集群的其余部分。这些地址用                                于在集群周围传送etcd数据。所有集群成员必须至少有一个路由。                                这些URL可以包含域名
 --advertise-client-urls:此成员的客户端URL的列表,这些URL广播给集群的其余部分。这些URL可                           以包含域名,默认值为:http://localhost:2379,如果从集群成员中发                           布诸如http://localhost:2379之类的URL并使用etcd的代理功能,请                           小心,这将导致循环,因为代理将向其自身转发请求,直到其资源(内                             存,文件描述符)最新耗尽为止。
 --initial-cluster:启动集群的初始化配置,关键是所提供的每个节点的--name参数的值
 --ca-file:客户端服务器TLS CA文件的路径
 --cert-file:客户端服务器TLS证书文件的路径
 --key-file:客户端服务器TLS秘钥文件的路径 
 --client-cert-auth:开启客户端证书认证
 --trusted-ca-file:客户端服务器受信任的TLS CA证书文件的路径
 -peer-ca-file:节点TLS CA文件的路径
 --peer-cert-file:对等服务器TLS证书文件的路径
 --peer-key-file:对等服务器TLS秘钥文件的路径,这是对等节点通信秘钥,在服务器和客户端都可                   以使用
 --peer-client-cert-auth:启动节点客户端证书认证 
 --peer-trusted-ca-file:节点受信任的TLS CA证书文件的路径
 --log-output stdout:指定"stdout"或"stderr"以跳过日志记录,即使在systemd或逗号分隔的输                       出目标列表下运行时也是如此     

9.为Etcd启动文件授予可执行权限

#为Etcd启动文件(mfyxw20)授权,其它二台主机都类似
[root@mfyxw20 ~]#chmod a+x /opt/etcd/etcd-server-startup.sh

技术分享图片

10..创建Etcd数据目录

#第8步的etcd启动文件中有涉及配置了存储etcd数据目录,故需要创建目录并授权给etcd用户和组
#本例以mfyxw20主机为例,其它二台主机类似
[root@mfyxw20 ~]#mkdir -p /data/etcd/etcd-server
[root@mfyxw20 ~]#chown -R etcd.etcd /data/etcd/etcd-server/


技术分享图片

11.为了方便管理etcd后台进程,安装supervisor

#mfyxw20,mfyxw30,mfyxw40三台安装etcd的主机都需要安装
[root@mfyxw20 ~]#yum -y install supervisor

12.为supervisor提供配置文件

#mfyxw20,mfyxw30,mfyxw40都需要提供supervisor配置文件
#mfyxw20机器的supervisor配置文件
[root@mfyxw20 ~]#cat > /etc/supervisord.d/etcd-server.ini << EOF
[program:etcd-server-80-20]
command=/opt/etcd/etcd-server-startup.sh
numprocs=1                                                    
directory=/opt/etcd                                           
autostart=true                                                  
autorestart=true                                                
startsecs=30                                                    
startretries=3                                                  
exitcodes=0,2                                                   
stopsignal=QUIT                                                 
stopwaitsecs=10                                                 
user=etcd                                                       
redirect_stderr=true                                            
stdout_logfile=/data/logs/etcd-server/etcd.stdout.log           
stdout_logfile_maxbytes=64MB                                    
stdout_logfile_backups=4                                        
stdout_capture_maxbytes=1MB                                     
stdout_events_enabled=false 
EOF

#mfyxw30机器的supervisor配置文件
[root@mfyxw30 ~]#cat > /etc/supervisord.d/etcd-server.ini << EOF
[program:etcd-server-80-30]
command=/opt/etcd/etcd-server-startup.sh
numprocs=1                                                    
directory=/opt/etcd                                           
autostart=true                                                  
autorestart=true                                                
startsecs=30                                                    
startretries=3                                                  
exitcodes=0,2                                                   
stopsignal=QUIT                                                 
stopwaitsecs=10                                                 
user=etcd                                                       
redirect_stderr=true                                            
stdout_logfile=/data/logs/etcd-server/etcd.stdout.log           
stdout_logfile_maxbytes=64MB                                    
stdout_logfile_backups=4                                        
stdout_capture_maxbytes=1MB                                     
stdout_events_enabled=false 
EOF

#mfyxw40机器的supervisor配置文件
[root@mfyxw40 ~]#cat > /etc/supervisord.d/etcd-server.ini << EOF
[program:etcd-server-80-40]
command=/opt/etcd/etcd-server-startup.sh
numprocs=1                                                    
directory=/opt/etcd                                           
autostart=true                                                  
autorestart=true                                                
startsecs=30                                                    
startretries=3                                                  
exitcodes=0,2                                                   
stopsignal=QUIT                                                 
stopwaitsecs=10                                                 
user=etcd                                                       
redirect_stderr=true                                            
stdout_logfile=/data/logs/etcd-server/etcd.stdout.log           
stdout_logfile_maxbytes=64MB                                    
stdout_logfile_backups=4                                        
stdout_capture_maxbytes=1MB                                     
stdout_events_enabled=false 
EOF


技术分享图片

13.创建supervisor日志目录并授权

#三台安装了supervisor的都需要执行如下命令,以mfyxw20为例
[root@mfyxw20 ~]#mkdir -p /data/logs/etcd-server/
[root@mfyxw20 ~]#chown -R etcd.etcd /data/logs/etcd-server/

技术分享图片

13.为supervisor添加开机自启及立即启动服务

#三台安装了supervisor的机器都需要执行如下操作,以mfyxw20为例
[root@mfyxw20 ~]#systemctl enable --now supervisord

技术分享图片

14.查看etcd是否已经启动

#三台安装了supervisor的机器都需要执行如下操作,以mfyxw20为例
[root@mfyxw20 ~]#systemctl restart supervisord
[root@mfyxw20 ~]#supervisorctl update
[root@mfyxw20 ~]#supervisorctl status
[root@mfyxw20 ~]#netstat -luntp | grep

技术分享图片

15.查看Etcd集群状态信息

#在安装好的三台etcd节点(mfyxw20,mfyxw30,mfyxw40)上,进入到etcd相对应的目录,以mfyxw20为例
[root@mfyxw20 ~]#cd /opt/etcd
[root@mfyxw20 ~]#./etdctl member list

技术分享图片

Kubernets二进制安装(6)之部署主控节点服务--etcd

原文:https://www.cnblogs.com/Heroge/p/12622089.html

(1)
(1)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!