2 本地部署安装Calico网络

(1) 官方文档: https://docs.projectcalico.org/getting-started/kubernetes/self-managed-onprem/onpremises

(2) 我这里集群使用的calico版本为v3.20.1。

(3) Kubernetes API datastore是Kubernetes工作负载推荐的数据存储。不建议将etcd数据库用于新安装。

但是，如果您将Calico 作为 OpenStack 和 Kubernetes 的网络插件运行，则它是一个选项。

在172.16.1.81(k8s-master1)节点上操作

2.1 文件配置

1 方式一: 使用Kubernetes API datastore安装Calico，50个或更少节点

(1) 下载
# wget https://docs.projectcalico.org/manifests/calico.yaml

(2) 修改配置文件
# vim calico.yaml
1) 修改pod CIDR，与集群配置保持一致


2) 配置calico选择某网卡进行通信


- name: IP_AUTODETECTION_METHOD
value: "interface=eth1"
注: eth1为指定的通信网卡

3) 备注: CALICO_IPV4POOL_IPIP

Always # 为IPIP模式(默认)
Never # 为BGP模式

(3) 初始化calico网络
# kubectl apply -f calico.yaml

2 方式二: 使用Kubernetes API datastore安装Calico，超过50个节点

(1) 下载
# wget https://docs.projectcalico.org/manifests/calico-typha.yaml

(2) 修改配置文件
# vim calico-typha.yaml
1) 修改pod CIDR，与集群配置保持一致


2) 配置calico选择某网卡进行通信


- name: IP_AUTODETECTION_METHOD
value: "interface=eth1"
注: eth1为指定的通信网卡

3) 修改Deployment命名为calico-typha的副本数
我们建议每200个节点至少有一个副本，并且不超过20个副本。在生产中，我们建议至少3个副本，以减少
滚动升级和故障的影响。副本数应始终小于节点数，否则滚动升级将停滞。


4) 备注: CALICO_IPV4POOL_IPIP

Always # 为IPIP模式(默认)
Never # 为BGP模式

(3) 初始化calico网络
# kubectl apply -f calico-typha.yaml

3 方式三: 使用etcd datastore安装Calico

Calico使用etcd来保存网络拓扑和状态

(1) 下载
# wget https://docs.projectcalico.org/manifests/calico-etcd.yaml

(2) 修改配置文件
# vim calico-etcd.yaml
1) 填入etcd证书


# cat /usr/local/etcd/ssl/etcd-key.pem | base64 -w 0 > ETCD-KEY
# cat /usr/local/etcd/ssl/ca.pem | base64 -w 0 > ETCD-CA
# cat /usr/local/etcd/ssl/etcd.pem | base64 -w 0 > ETCD-CERT

# sed -i "s?# etcd-key: null?etcd-key: $(cat ETCD-KEY)?" calico-etcd.yaml
# sed -i "s?# etcd-ca: null?etcd-ca: $(cat ETCD-CA)?" calico-etcd.yaml
# sed -i "s?# etcd-cert: null?etcd-cert: $(cat ETCD-CERT)?" calico-etcd.yaml

2) 填入etcd的地址


# sed -i \
‘s?http://<ETCD_IP>:<ETCD_PORT>?https://172.16.1.81:2379,https://172.16.1.82:2379,https://172.16.1.83:2379?‘ \
calico-etcd.yaml

3) 开启etcd证书路径


# sed -i ‘s?etcd_ca: ""?etcd_ca: "/calico-secrets/etcd-ca"?‘ calico-etcd.yaml
# sed -i ‘s?etcd_cert: ""?etcd_cert: "/calico-secrets/etcd-cert"?‘ calico-etcd.yaml
# sed -i ‘s?etcd_key: ""?etcd_key: "/calico-secrets/etcd-key"?‘ calico-etcd.yaml

4) 修改pod CIDR，与集群配置保持一致


5) 配置calico选择某网卡进行通信


- name: IP_AUTODETECTION_METHOD
value: "interface=eth1"
注: eth1为指定的通信网卡

6) 备注: CALICO_IPV4POOL_IPIP

Always # 为IPIP模式(默认)
Never # 为BGP模式

(3) 初始化calico网络
# kubectl apply -f calico-etcd.yaml

4 查看网络(方式三环境)

(1) 查看所有pod的状态


(2) calico本地文件存储(每个安装kubelet的节点上都有)
/opt/cni/bin/、/etc/cni/net.d/、/var/lib/cni/


(3) calico-kubeconfig认证文件

2.2 将calicoctl作为二进制文件安装在单个主机上

calicoctl用于管理Calico策略和配置，以及查看详细的集群状态，比如查看IP池利用率和BGP状态。

保始终安装calicoctl与集群上运行的 Calico 版本匹配的版本。

官方文档: https://docs.projectcalico.org/getting-started/clis/calicoctl/install

1 下载插件

# wget https://github.com/projectcalico/calicoctl/releases/download/v3.20.1/calicoctl-linux-amd64
# mv calicoctl-linux-amd64 /usr/bin/calicoctl
# chmod +x /usr/bin/calicoctl

2 验证

默认通过/root/.kube/config访问api-server
(1) 获取calico节点
# calicoctl get node


(2) 获取calico节点状态
# calicoctl node status

提示:
在节点上查看calico状态时，不显示当前节点的calico状态。
比如在172.16.1.82(k8s-master2)节点上查看calico的状态如下:


(3) 查看工作中的负载节点
# calicoctl get workloadendpoints


(4) 查看当前集群状态
# kubectl get nodes


# kubectl get pod -A -o wide

2.3 下线节点

1 驱除异常节点上的服务

# kubectl drain <异常节点的nodename> --delete-local-data --force --ignore-daemonsets
# kubectl drain k8s-node1 --delete-local-data --force --ignore-daemonsets

# 驱除后查看Pod是否成功迁移到其他节点

2 删除node

# kubectl delete node <异常节点的nodename>
# kubectl delete node k8s-node1

# 删除后查看该node是否去除

3 清除节点信息(防止重新加入集群报错)

在172.16.1.83(k8s-node1)节点上操作

# iptables -nL
# iptables -F
# iptables -X
# iptables -Z

注: kubeadm还需要使用如下步骤
# kubeadm reset

4 删除多余网卡(正常网卡和docker0桥除外)

在172.16.1.83(k8s-node1)节点上操作

# systemctl restart docker
# ifconfig <网卡名> down <=> ip link set <网卡名> down
# ip link delete <网卡名>
# rm -rf /opt/cni/bin/*
# rm -rf /etc/cni/net.d/*
# rm -rf /var/lib/cni/*

5 重新加入集群

(1) 二进制
# 重启kubelet服务
[root@k8s-node1 ~]# systemctl restart kubelet.service

(2) kubeadm方式
# 重新生成node加入集群的token，有效时间24小时
[root@k8s-master1 ~]# kubeadm token create --print-join-command

6 查看是否加入集群

[root@k8s-master1 ~]# calicoctl node status

本地部署安装Calico网络

原文：https://www.cnblogs.com/LiuChang-blog/p/15311434.html