安志合的学习博客
·
k8s强制删除hang死状态pod
内容提要
Kubernetes 中 Pod 处于 Terminating 状态通常是由于资源未释放。可以通过检查 Finalizers、节点状态和 Volume 挂载来解决。如果无效，可以选择强制删除或在 ETCD 中直接删除 Pod 记录，但需谨慎操作。
关键要点
-
Kubernetes 中 Pod 处于 Terminating 状态通常是由于资源未释放。
-
检查 Finalizers，确保其为空数组以允许 Pod 删除。
-
检查节点状态，确保节点正常运行，状态为 NotReady 时需修复。
-
检查 Volume 挂载状态，确保持久卷能够正常卸载。
-
重启 Kubelet 可能解决与节点相关的问题。
-
检查 API Server 日志以获取相关错误信息。
-
如果 Finalizers 已移除但 Pod 仍卡在 Terminating 状态，可以尝试强制删除。
-
直接删除 ETCD 中的 Pod 记录需谨慎操作，建议先备份 ETCD 数据。
-
使用 etcdctl 命令与 ETCD 交互，查看和删除 Pod 的记录。
延伸解读
理解 Finalizers 的作用
Finalizers 是 Kubernetes 中的重要机制，用于确保资源在删除前完成必要的清理工作。如果 Pod 的 Finalizers 字段不为空，Kubernetes 将阻止其删除。因此，在处理 Terminating 状态的 Pod 时，首先需要检查并清空 Finalizers，以确保 Pod 能够顺利删除。
谨慎操作 ETCD
直接删除 ETCD 中的 Pod 记录是一项高风险操作，可能导致 Kubernetes 集群状态不一致。在执行此操作前，务必备份 ETCD 数据，以防止意外损失。建议仅在其他解决方案无效时才考虑此步骤，确保对集群的影响降到最低。
节点状态的重要性
Pod 的 Terminating 状态可能与其所在节点的健康状况密切相关。如果节点处于 NotReady 状态，Pod 将无法正常删除。因此，定期监控节点状态并及时修复问题是维护 Kubernetes 集群稳定性的关键。
延伸问答
Kubernetes 中 Pod 为什么会处于 Terminating 状态？
Pod 通常处于 Terminating 状态是因为占用的某些资源未被正确释放，例如 Finalizers、Volume 挂载或节点状态异常。
如何检查和移除 Pod 的 Finalizers？
可以使用 kubectl edit 命令手动编辑 Pod，将 metadata.finalizers 设置为空数组，或使用 kubectl patch 命令直接移除 Finalizers。
如果节点状态为 NotReady，应该如何处理？
需要检查节点的硬件资源和网络状态，确保节点能够正常通信，并尝试重启节点或修复问题。
如何强制删除卡在 Terminating 状态的 Pod？
可以使用 kubectl delete 命令加上 --force 和 --grace-period=0 参数来强制删除 Pod。
直接删除 ETCD 中的 Pod 记录需要注意什么？
直接删除 ETCD 中的 Pod 记录可能会破坏 Kubernetes 集群的状态，建议在操作前先备份 ETCD 数据，并谨慎执行。
如何检查 Kubernetes API Server 的日志？
可以使用 kubectl logs 命令查看 API Server 的日志，命令格式为 kubectl logs -n kube-system kube-apiserver-<node-name>。
