1、POD启动状态一直为ContainerCreating，提示cni0的IP与既有子网不同
报错信息
使用 kubectl describe pods
进入到对应计算节点，使用ip a命令确认cni0的IP信息，使用cat /run/flannel/subnet.env查看flannel网络插件分配的子网IP，发现两者确实不一致。
解决办法
删掉这个IP错误的网卡cni0, 之后flanneld自动重新创建。命令如下。
ifconfig cni0 down
ip link delete cni0
2、POD启动状态一直为ContainerCreating，提示cgroup无法分配内存
报错信息
failed to create container for [kubepods burstable pod…]: mkdir /sys/fs/cgroup/memory/kubepods/burstable/pod…: cannot allocate memory
原因
cgroup内存泄露
解决办法
方法一：将集群节点的centos系统内核升级到5.4以上版本，频率会明显降低方法二：重启节点服务器，但运行过一段时间后还是会出现这种问题
3、prometheus采集到的kube_node_labels指标，label信息不全
分析
该指标由 kube-state-metrics （deployment）采集，经curl在集群内访问该exporter，原始采集到的指标即不完整
解决办法
与其他采集正常的k8s集群对比，发现所用kube-state-metrics （deployment）版本有差异，将其镜像版本由2.0.0 改为了 v1.9.7 问题得到解决，效果如下。
4、deployment部署状态为ReplicaFailure
现象
deployment应用后，状态为ReplicaFailure，pod无法启动
分析过程：查看对应replicaset的event信息，确认原因
命令行方式
具体步骤如下：
(1) 查看deployment详细信息，condition为ReplicaFailure
[root@10-75-18-18 ~]# kubectl describe deploy redis-hdms -n kunlun-cn-poc-m9
...
Conditions:
Type Status Reason
---- ------ ------
Available False MinimumReplicasUnavailable
ReplicaFailure True FailedCreate
Progressing False ProgressDeadlineExceeded
OldReplicaSets: redis-hdms-54c669b665 (0/1 replicas created)
Events:
(2) 确认对应replicaset的名称
# 方法1
从上步骤的描述结果中查找
# 方法2：使用命令检索，再按时间等信息匹配
[root@10-75-18-18 ~]# kubectl get rs -n kunlun-cn-poc-m9 |grep redis-hdms
redis-hdms-54c669b665 1 0 0 97m
redis-hdms-6f749b758d 1 0 0 95m
(3) 查看replicaset的情况，event中warning提示未设置limits.cpu和limits.memory
[root@10-75-18-18 ~]# kubectl describe rs redis-hdms-54c669b665 -n kunlun-cn-poc-m9
...
Conditions:
Type Status Reason
---- ------ ------
ReplicaFailure True FailedCreate
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning FailedCreate 59m replicaset-controller Error creating: pods "redis-hdms-54c669b665-dx5lf" is forbidden: failed quota: m9: must specify limits.cpu,limits.memory
图形界面方式
从图形界面关联找到其对应的replicaset，点击查看其event信息
解决办法
在deployment对应的yaml中增加资源limits信息即可
（20240222）
5、pod持续重启，提示Back-off restarting failed container
现象
pod持续重启，提示Back-off restarting failed container
原因分析
(1) 查看pod详细信息，Last State中查看原因为OOMKilled，即内存不足
[root@10-75-18-18 ~]# kubectl describe pod minio-74c9cf8669-f8wc7 -n kunlun-cn-poc-m9
...
Last State: Terminated
Reason: OOMKilled
Exit Code: 137
Started: Thu, 22 Feb 2024 14:18:43 +0800
Finished: Thu, 22 Feb 2024 14:18:44 +0800
...
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Pulled 48s (x5 over 2m29s) kubelet, 192-167-20-74 Container image "registry.xxx.com/infra/minio:RELEASE.2020-06-18T02-23-35Z" already present on machine
Normal Created 48s (x5 over 2m29s) kubelet, 192-167-20-74 Created container minio
Normal Started 47s (x5 over 2m28s) kubelet, 192-167-20-74 Started container minio
Warning BackOff 33s (x10 over 2m24s) kubelet, 192-167-20-74 Back-off restarting failed container
解决办法
在deployment对应的yaml中修改内存资源配置
其他常见原因
无常驻进程
https://blog.csdn.net/yztezhl/article/details/125421316 https://serverfault.com/questions/924243/back-off-restarting-failed-container-error-syncing-pod-in-minikube
其他
https://www.imooc.com/article/339069
（20240222）
相关链接
发表评论