FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

Pod 反复重启却没有日志,并不是死路

五步 kubectl 排查,分清客户集群里的故障出在应用还是基础设施。

一名身穿白大褂的医生俯身,把听诊器贴在一个鼓胀的橙色集装箱上,上方有一个环形箭头,周围堆着蓝色和白色的集装箱。
分享微博

要点速览

  • 每次排查都从 kubectl describe pod 开始:查看 State、Last State、重启次数和 Events 部分。
  • 退出码 137 且 Reason 为 OOMKilled,说明容器超出内存限制并收到 SIGKILL;当前这次运行的日志基本没用,要加 --previous。
  • 怀疑网络有问题时,先在 dnsutils Pod 里运行 nslookup kubernetes.default,再考虑是不是应用的锅。
柱状图展示 kubelet 每次重启 Pod 前的等待时间:10、20、40、80 和 160 秒。到第六次重启时,等待时间触及 300 秒(5 分钟)上限,这根柱子以橙色标出。
每次崩溃后,退避等待时间翻倍,直到 5 分钟上限。因此修好配置后 Pod 没有立刻起来,并不代表修错了。来源:Site24x7,见文中引用。

客户的 Pod 已经重启了 14 次。你敲下 kubectl logs,屏幕上一片空白。很多工程师到这一步就开始靠猜,而答案往往就藏在两条还没运行的命令里。

本指南围绕在客户集群中部署时常见的三类故障,梳理一套五步 kubectl 诊断流程:CrashLoopBackOff、OOMKilled,以及网络或 DNS 故障。每一步都给出一条命令、运行后要检查什么,以及一个常见错误。

这项技能对前线部署工程师(FDE)为什么重要,道理很简单。设想你面对一个不属于你的集群,手里只有一个终端,运维团队正等着看你能不能分清应用故障和基础设施故障。

需要准备什么?

你需要一个已指向集群的 kubectl,最好先在自己的测试集群上练手,再去碰真实集群;另外还需要在目标命名空间中读取 Pod、日志和事件的权限。下文示例用 <pod-name> 和 <namespace> 作占位符,请替换为实际值。网络一步中的部分 Service 名称仅作示意。

第 1 步:先 describe,再猜测

第一条命令永远是:

kubectl describe pod <pod-name> -n <namespace>

Kubernetes 的 Debug Pods 文档建议从容器状态入手:容器是否都处于 Running,最近有没有重启?命令运行后,检查三处:State 行、Last State 行和 Restart Count。

这时要区分两种常被混淆的情况。卡在 Pending 的 Pod 还没有调度到任何节点,容器从未运行,自然没有日志可看。CrashLoopBackOff 则不同:Pod 已在节点上,容器也运行过,只是不断退出。

如果确实是 CrashLoopBackOff,就往下翻到 Events。Devtron 的指南建议在这里检查是否有探针(liveness、readiness、startup)失败。这正是要先看 Events 再看代码的原因:如果问题出在探针,答案可能在探针配置里,而不在应用本身。

第 2 步:日志为何为空,以及如何拿到已退出那次运行的日志

开头那片空白屏幕有个简单的解释。Pod 处于崩溃循环时,当前这次运行的日志往往还什么都没有。你要的信息在刚刚退出的那个容器里,--previous 参数会打印上一次运行的日志(如果还在的话):

kubectl logs <pod-name> --previous -n <namespace>

运行后,重点看进程退出前的最后几行:堆栈跟踪、缺失的环境变量、被拒绝的数据库连接。

了解重启节奏也很有用,能避免草率下结论。据 Site24x7 介绍,kubelet 通常在第一次重启前等待 10 秒,之后依次为 20 秒、40 秒,以此类推,最长 5 分钟。如果等待时间持续翻倍,只需大约五次崩溃(10、20、40、80、160 秒),下一次就会触及 300 秒的上限。

这个节奏解释了一种很常见的情况:修好配置后 Pod 没有立刻起来,不一定是修错了,它可能只是还在退避等待。

第 3 步:退出码 137 是什么意思?

回到 describe 的输出,找到容器的 Last State 部分。下面是一段裁剪过的示例,只保留了值得看的三行:

Last State:     Terminated
  Reason:       OOMKilled
  Exit Code:    137

如果看到的正是 Reason: OOMKilled 和 Exit Code: 137,说明应用不是自己崩溃的,而是被杀掉的。Kubernetes 文档解释,容器使用的内存超过其限制时可能被终止;如果允许重启,kubelet 会再次启动它。

正是这种“退出—重启”的循环,让 OOMKilled 看起来和 CrashLoopBackOff 一模一样。想要更完整的数据,可以把 Pod 导出为 YAML:

kubectl get pod <pod-name> -n <namespace> -o yaml

在官方示例中,lastState.terminated 字段里是 exitCode: 137 和 reason: OOMKilled。

CAST AI 将 137 拆解为 128 + 9,即容器收到了 SIGKILL(信号 9)。容器超出 cgroup 内存限制时,内核的 OOM killer 会发送这个信号。但要看仔细:137 本身只说明容器被 SIGKILL,Reason 行才说明原因是内存,所以不要只凭退出码就断定是 OOM。

这一步最常见的错误是去代码里找 bug。一旦 Reason 显示 OOMKilled,你该带给客户的是内存限制和应用实际用量的对比。

第 4 步:镜像里没有 shell 可以 exec 时

很多客户使用精简镜像,比如 distroless,kubectl exec 进去没有 shell 也没有工具。容器一旦崩溃,exec 也就无从谈起。Kubernetes 文档针对这类场景推荐使用临时容器(ephemeral container):通过 kubectl debug,给出问题的 Pod 临时挂上一个带全套调试工具的容器。

下面的命令骨架经过简化,只说明从哪里入手;选择镜像和目标容器的参数,请参照与你集群版本对应的 Ephemeral Containers 文档:

# 简化骨架,缺少必要参数,无法直接运行
kubectl debug <pod-name> -n <namespace> ...

在客户集群上使用前,先确认对方的安全策略是否允许添加临时容器。

第 5 步:故障在网络还是在应用?

当应用报告无法连接另一个服务时,改动任何东西之前,先要证明 DNS 正常。Debugging DNS Resolution 文档说明了如何运行一个 dnsutils Pod(文档中附有示例清单),然后执行:

kubectl exec -i -t dnsutils -- nslookup kubernetes.default

如果返回了地址,说明集群 DNS 正常。否则,检查 kube-system 命名空间中的 CoreDNS:

kubectl get pods -n kube-system -l k8s-app=kube-dns
kubectl logs -n kube-system -l k8s-app=kube-dns

确认这些 Pod 处于 Running,且日志里没有满屏报错。

如果集群 DNS 正常,但某个 Service 解析不了,Debug Services 文档建议依次尝试短名称、带命名空间的名称,最后是完全限定域名(FQDN)。下面的示例假设 default 命名空间中有一个名为 hostnames 的 Service,且集群使用默认域名:

kubectl exec -i -t dnsutils -- nslookup hostnames.default
kubectl exec -i -t dnsutils -- nslookup hostnames.default.svc.cluster.local

如果名称能解析,流量却仍然到不了,就要审查作用于目标 Pod 的入站 NetworkPolicy。Debug Services 文档明确指出,需要检查可能影响进入 Pod 流量的入站规则,所以不要因为 DNS 正常就跳过这一步。

为什么在客户现场的头十分钟很关键?

设想你在一家银行的集群上部署完 Agent 后的第一个早上。Pod 不断重启,运维团队问是不是你们产品的问题。

如果你能在十分钟内指出 Reason: OOMKilled 和他们设置的内存限制,或者证明连 kubernetes.default 的 nslookup 都会失败,对话就会从追究责任转向一起解决问题。

看 FDE 岗位描述时,留意关于在客户基础设施上调试部署的要求。简历上不要只写“熟悉 Kubernetes”,而要写具体的一条,例如:在客户集群上诊断一起 OOMKilled 故障,定位到内存限制是根因,并给出新的取值建议。

下次 Pod 挂掉时,别急着打开代码。先运行 describe,再运行 logs --previous,让集群告诉你故障在哪里。

这篇文章对你有帮助吗?

9 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力银行用上 ISO 20022,喂给模型的数据仍可能是脏的旧系统仍在往新的结构化报文里灌自由文本,第一周就要先测出脏数据有多少,再让模型去学。