首页 > 其他 > 详细

k8s 资源争用

时间:2018-12-21 18:40:07      阅读:168      评论:0      收藏:0      [点我收藏+]
由磁盘空间不足引发集群访问的问题.
k8s node节点磁盘空间不足, /var/lib/docker/overlay2 空间过大,将docker的数据目录切换到其它磁盘,
修改docker配置文文件/usr/lib/systemd/system/docker.service,
ExecStart=/usr/bin/dockerd-current \
--graph /opt/docker \

systemctl daemon-reload
systemctl restart docker
数据目录发生切换,切换之前此节点运行pod ,直接导致此节点上的所有pod丢失,image确实,重新拉取image,启动容器及项目,
因为发生了大量的拉取Image,导致内网流量跑满,一段时间,服务器反映慢,同时并发启动pod ,造成cpu 负载飙升,4核cpu, 负载到 60+ .
此时,发生非常恐怖影响,master节点忙于调度,负载飙高,基于pod的ingress nginx 在次节点上无法启动, 影响前端转发到次台的服务器不可用.
项目cpu限制1核,pod 征用cpu ,pod liveness 检测超时,进行Pod重启,从而也影响此节点已经运行正常的pod检测liveness及服务的运行.

紧急处理方法:
修改前端代理nginx ,去除有问题的node节点

k8s 资源争用

原文:http://blog.51cto.com/phospherus/2333950

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!