# Pod 反复重启却没有日志，并不是死路

> 五步 kubectl 排查，分清客户集群里的故障出在应用还是基础设施。

原文: https://fdetimes.net/zh/guides/kubectl-debug-crashloopbackoff-oomkilled-dns/

客户的 Pod 已经重启了 14 次。你敲下 `kubectl logs`，屏幕上一片空白。很多工程师到这一步就开始靠猜，而答案往往就藏在两条还没运行的命令里。

本指南围绕在客户集群中部署时常见的三类故障，梳理一套五步 kubectl 诊断流程：CrashLoopBackOff、OOMKilled，以及网络或 DNS 故障。每一步都给出一条命令、运行后要检查什么，以及一个常见错误。

这项技能对前线部署工程师（FDE）为什么重要，道理很简单。设想你面对一个不属于你的集群，手里只有一个终端，运维团队正等着看你能不能分清应用故障和基础设施故障。

## 需要准备什么？

你需要一个已指向集群的 `kubectl`，最好先在自己的测试集群上练手，再去碰真实集群；另外还需要在目标命名空间中读取 Pod、日志和事件的权限。下文示例用 `` 和 `` 作占位符，请替换为实际值。网络一步中的部分 Service 名称仅作示意。

## 第 1 步：先 describe，再猜测

第一条命令永远是：

```bash
kubectl describe pod <pod-name> -n <namespace>
```

Kubernetes 的 Debug Pods 文档建议从容器状态入手：容器是否都处于 `Running`，最近有没有重启？命令运行后，检查三处：State 行、Last State 行和 Restart Count。

这时要区分两种常被混淆的情况。卡在 `Pending` 的 Pod 还没有调度到任何节点，容器从未运行，自然没有日志可看。CrashLoopBackOff 则不同：Pod 已在节点上，容器也运行过，只是不断退出。

如果确实是 CrashLoopBackOff，就往下翻到 Events。Devtron 的指南建议在这里检查是否有探针（liveness、readiness、startup）失败。这正是要先看 Events 再看代码的原因：如果问题出在探针，答案可能在探针配置里，而不在应用本身。

## 第 2 步：日志为何为空，以及如何拿到已退出那次运行的日志

开头那片空白屏幕有个简单的解释。Pod 处于崩溃循环时，当前这次运行的日志往往还什么都没有。你要的信息在刚刚退出的那个容器里，`--previous` 参数会打印上一次运行的日志（如果还在的话）：

```bash
kubectl logs <pod-name> --previous -n <namespace>
```

**要点:** 日志为空不代表没有错误，只说明你看错了那次运行。

运行后，重点看进程退出前的最后几行：堆栈跟踪、缺失的环境变量、被拒绝的数据库连接。

了解重启节奏也很有用，能避免草率下结论。据 Site24x7 介绍，kubelet 通常在第一次重启前等待 10 秒，之后依次为 20 秒、40 秒，以此类推，最长 5 分钟。如果等待时间持续翻倍，只需大约五次崩溃（10、20、40、80、160 秒），下一次就会触及 300 秒的上限。

这个节奏解释了一种很常见的情况：修好配置后 Pod 没有立刻起来，不一定是修错了，它可能只是还在退避等待。

## 第 3 步：退出码 137 是什么意思？

回到 `describe` 的输出，找到容器的 Last State 部分。下面是一段裁剪过的示例，只保留了值得看的三行：

```text
Last State:     Terminated
  Reason:       OOMKilled
  Exit Code:    137
```

如果看到的正是 `Reason: OOMKilled` 和 `Exit Code: 137`，说明应用不是自己崩溃的，而是被杀掉的。Kubernetes 文档解释，容器使用的内存超过其限制时可能被终止；如果允许重启，kubelet 会再次启动它。

正是这种“退出—重启”的循环，让 OOMKilled 看起来和 CrashLoopBackOff 一模一样。想要更完整的数据，可以把 Pod 导出为 YAML：

```bash
kubectl get pod <pod-name> -n <namespace> -o yaml
```

在官方示例中，`lastState.terminated` 字段里是 `exitCode: 137` 和 `reason: OOMKilled`。

CAST AI 将 137 拆解为 128 + 9，即容器收到了 SIGKILL（信号 9）。容器超出 cgroup 内存限制时，内核的 OOM killer 会发送这个信号。但要看仔细：137 本身只说明容器被 SIGKILL，Reason 行才说明原因是内存，所以不要只凭退出码就断定是 OOM。

这一步最常见的错误是去代码里找 bug。一旦 Reason 显示 OOMKilled，你该带给客户的是内存限制和应用实际用量的对比。

## 第 4 步：镜像里没有 shell 可以 exec 时

很多客户使用精简镜像，比如 distroless，`kubectl exec` 进去没有 shell 也没有工具。容器一旦崩溃，exec 也就无从谈起。Kubernetes 文档针对这类场景推荐使用临时容器（ephemeral container）：通过 `kubectl debug`，给出问题的 Pod 临时挂上一个带全套调试工具的容器。

下面的命令骨架经过简化，只说明从哪里入手；选择镜像和目标容器的参数，请参照与你集群版本对应的 Ephemeral Containers 文档：

```bash
# 简化骨架，缺少必要参数，无法直接运行
kubectl debug <pod-name> -n <namespace> ...
```

在客户集群上使用前，先确认对方的安全策略是否允许添加临时容器。

## 第 5 步：故障在网络还是在应用？

当应用报告无法连接另一个服务时，改动任何东西之前，先要证明 DNS 正常。Debugging DNS Resolution 文档说明了如何运行一个 `dnsutils` Pod（文档中附有示例清单），然后执行：

```bash
kubectl exec -i -t dnsutils -- nslookup kubernetes.default
```

如果返回了地址，说明集群 DNS 正常。否则，检查 `kube-system` 命名空间中的 CoreDNS：

```bash
kubectl get pods -n kube-system -l k8s-app=kube-dns
kubectl logs -n kube-system -l k8s-app=kube-dns
```

确认这些 Pod 处于 Running，且日志里没有满屏报错。

如果集群 DNS 正常，但某个 Service 解析不了，Debug Services 文档建议依次尝试短名称、带命名空间的名称，最后是完全限定域名（FQDN）。下面的示例假设 `default` 命名空间中有一个名为 `hostnames` 的 Service，且集群使用默认域名：

```bash
kubectl exec -i -t dnsutils -- nslookup hostnames.default
kubectl exec -i -t dnsutils -- nslookup hostnames.default.svc.cluster.local
```

如果名称能解析，流量却仍然到不了，就要审查作用于目标 Pod 的入站 NetworkPolicy。Debug Services 文档明确指出，需要检查可能影响进入 Pod 流量的入站规则，所以不要因为 DNS 正常就跳过这一步。

## 为什么在客户现场的头十分钟很关键？

设想你在一家银行的集群上部署完 Agent 后的第一个早上。Pod 不断重启，运维团队问是不是你们产品的问题。

如果你能在十分钟内指出 `Reason: OOMKilled` 和他们设置的内存限制，或者证明连 `kubernetes.default` 的 `nslookup` 都会失败，对话就会从追究责任转向一起解决问题。

看 FDE 岗位描述时，留意关于在客户基础设施上调试部署的要求。简历上不要只写“熟悉 Kubernetes”，而要写具体的一条，例如：在客户集群上诊断一起 OOMKilled 故障，定位到内存限制是根因，并给出新的取值建议。

下次 Pod 挂掉时，别急着打开代码。先运行 `describe`，再运行 `logs --previous`，让集群告诉你故障在哪里。

**本周动手试试:**

- 搭建一个测试集群，部署一个内存限制低于应用实际用量的 Pod，然后在 kubectl describe pod 中找到 Reason OOMKilled 和 Exit Code 137。
- 运行 dnsutils Pod，输入 nslookup kubernetes.default，再分别用短名称、带命名空间的名称和 FQDN 三种形式解析一个 Service。
- 把本文的五个步骤写成一页 runbook，为下一次在客户现场值班做好准备。

## 信源

- [Debug Pods | Kubernetes](https://kubernetes.io/docs/tasks/debug/debug-application/debug-pods/)

- [kubectl logs | Kubernetes](https://kubernetes.io/docs/reference/kubectl/generated/kubectl_logs/)

- [The ultimate guide to Kubernetes CrashLoopBackOff](https://www.site24x7.com/learn/troubleshooting-kubernetes-crashloopbackoff.html)

- [Troubleshooting Pod CrashLoopBackOff Errors in K8s](https://devtron.ai/blog/troubleshoot_crashloopbackoff_pod)

- [Assign Memory Resources to Containers and Pods | Kubernetes](https://kubernetes.io/docs/tasks/configure-pod-container/assign-memory-resource/)

- [OOMKilled and Exit Code 137: Why Kubernetes Kills Your Pods and How to Stop It](https://cast.ai/blog/oomkilled-exit-code-137/)

- [Ephemeral Containers | Kubernetes](https://kubernetes.io/docs/concepts/workloads/pods/ephemeral-containers/)

- [Debugging DNS Resolution | Kubernetes](https://kubernetes.io/docs/tasks/administer-cluster/dns-debugging-resolution/)

- [Debug Services | Kubernetes](https://kubernetes.io/docs/tasks/debug/debug-application/debug-service/)
