# 客户现场出故障，先协调再排查

> 尽早宣布事故、只设一名指挥官、写一份坦诚的复盘，决定了事后客户还剩多少信任。

原文: https://fdetimes.net/zh/guides/production-incident-at-customer-postmortem/

设想这样一个场景：晚上 9 点，你和客户共用的聊天频道突然被消息刷屏。你上周部署的数据同步任务正在覆盖订单数据。客户那边三个人同时在提问，他们的一位工程师已经登录服务器，准备“重启试试”。你一边开着日志，一边接电话。

这时候，代码写得再好也救不了场。真正决定结果的是你会不会协调：谁可以动系统，谁负责和客户沟通，谁负责记录经过。

对前线部署工程师（FDE）来说，事故很少发生在“自己家里”。你夹在两个组织、两支工程团队和两套流程之间。第一个小时怎么处理，事后写出怎样的复盘，决定了客户还会在多大程度上信任你。

## 为什么要尽早宣布事故？

Google 的 SRE 书建议尽早宣布事故，不要等问题拖了几个小时、越闹越大才行动。工程师的本能往往相反：先悄悄修好，再事后汇报，怕小题大做。

在客户现场，晚报的代价更高。如果客户先于你发现问题，他们会按自己的方式处理，事情就变成了“供应商隐瞒 bug”。早宣布、后降级，远比晚宣布划算。

宣布事故不需要什么仪式。在共享频道里发一条清楚的消息就够了：

```text
[INCIDENT] 订单同步任务自 20:50 起一直在覆盖记录。
影响：今天的部分订单状态可能有误。
指挥官：Minh（FDE）。所有系统改动都须经 Minh 确认。
下次更新：21:30，有进展会提前通报。
```

第三行最重要，因为它能让所有人立刻停止各自动手修复。

## 四顶帽子，哪怕只有两个人

PagerDuty 把事故指挥官（Incident Commander）定义为掌握事故准确信息的唯一来源。Google 还补充了一条硬规则：事故处理期间，只有运维团队可以改动系统，指挥官负责把握全局。

另外两个角色常被忽略。PagerDuty 把记录员（Scribe）定义为在事故期间记录时间线的人，把客户联络人定义为直接与客户沟通的人。Google 的书里有一个类似的角色，叫沟通负责人，代表整个响应团队对外发言。

对于小型事故，PagerDuty 允许一人兼任多个角色。在客户现场的实际情况中，FDE 往往既是指挥官，又是联络人。要避免的是某个角色无人承担。

| 角色 | 示例中由谁担任 | 主要职责 | 不做什么 |
|---|---|---|---|
| 事故指挥官 | FDE | 做决策，维护统一的状态信息 | 亲自敲修复命令 |
| 运维 | 一位指定的工程师 | 执行商定好的改动 | 在计划之外做尝试 |
| 记录员 | 一位同事或 FDE | 记录带时间戳的时间线 | 在事故中途分析原因 |
| 客户联络人 | FDE 或客户负责人 | 按承诺的时间更新进展 | 承诺修复时间 |

面对客户的工程师，这一点最难开口。你无权给他们下命令，但可以直接提议：“您能来负责运维吗？每条命令执行前，我们先在这个频道里对一下。”通常他们会松一口气，因为终于有人来掌舵了。

## 从时间线看第一个小时

继续上面的假设示例，记录员记下的时间线大致如下。注意，每一行记录的是事件，而不是判断。

```text
20:50  同步任务按计划运行。
21:04  客户报告订单状态有误。
21:07  Minh 宣布事故，分配角色。
21:12  运维通过配置开关临时停用同步任务。
21:20  确认：没有新的覆盖写入。
21:30  向客户更新：扩散已控制，正在评估受影响数据的范围。

22:15  原因查明：最近一次部署修改了键映射。
```

这个顺序是有意为之：先控制损失，再查原因。21:12 时还没人知道任务为什么出错，但关掉它就足以阻止错误数据继续写入。

如果事故拖到第二天，Google 强调必须在工作日结束时明确交接指挥权。一句“从早上 8 点起由 Lan 担任指挥官，时间线在这个链接”，就能避免两个人都以为自己在掌舵，或者根本没人掌舵。

## 复盘：修系统，不修人

Google 把复盘（postmortem）定义为一份书面记录，内容包括事故本身、影响，以及为缓解或解决事故采取的措施。写复盘的理由很简单：按 SRE 书的说法，如果没有从事故中学习的正式流程，事故可能会无限重演。

什么情况下必须写？Google 建议事先设定触发标准，例如任何形式的数据丢失。示例中被覆盖的订单正好符合这一标准，所以没人需要争论要不要写。

复盘的精神是无责。SRE 书指出，人是“修”不好的，但可以修复系统和流程，让它们更好地支持人。“Minh 部署了错误的映射”什么也教不会。“部署流水线没有用真实数据校验键映射”则指明了需要做的工作。

**要点:** 好的复盘以系统改动收尾，而不是以某个人的名字收尾。

Cloudflare 针对 2025 年 11 月 18 日事故发布的公开复盘，是一份值得研读的范本。开篇就是管理层的直接道歉：他们代表整个团队，为当天给互联网造成的损害致歉。触发原因也说得很直白：一个数据库系统的权限变更。

整改清单同样具体，其中包括为各项功能增加更多全局紧急开关（kill switch）。

紧急开关这个细节值得 FDE 记住。在本文的示例里，21:12 那一步之所以快，只是因为任务本来就有一个关闭开关。如果没有，这正是复盘行动清单里应该排在第一位的事项。

发给客户的复盘可以只有一页：概述与道歉、影响（多少条记录、持续多长时间）、时间线、触发原因、解决过程，以及预防性行动项，每一项都有负责人和截止日期。

一个培养无责思维的小练习：把开头场景里那句“客户的工程师登录服务器并重启了它”，改写成系统层面的缺陷。

提示：想一想，是什么让这个操作在当时既可行、又显得合理？比如缺少一个用来商定命令的频道，或者没有人被指派为运维。你的答案就是一条预防性行动项。

## 客户从没写过复盘怎么办？

这很常见。Google 的《SRE 工作手册》（SRE Workbook）承认，在组织中引入复盘，既是技术变革，也是文化变革。它的建议是从很基础的流程做起，再逐步调整，使之适应组织。

对 FDE 来说，从小处做起就是自己先写第一份，邀请客户阅读和评论，而不是一上来就提议一整套新流程。客户一旦看到一份不追责任何人、却能落实具体工作的文档，下次就会主动问你是不是在写复盘。

## 常见错误

最常见的错误是让好几个人同时修。你在回滚，客户的工程师却重启了服务，结果没人知道到底是哪个改动起了作用。其次是没有记录员：到写复盘的时候，整个团队只能凭记忆和聊天记录拼凑时间线。

第三个错误出在沟通上：原因还没查明就承诺修复时间。只承诺下次更新的时间，然后守住这个承诺。最后一个错误是写完复盘就归档，没有把任何行动项分配给负责人，于是老事故原样重现，正如 SRE 书所警告的那样。

如果你的目标是 FDE 岗位，请仔细阅读那些提到值班（on-call）、事故响应或直接接触客户基础设施的岗位描述。简历上不要只写“处理过生产事故”，要写清楚你担任过事故指挥官、多快控制住了损失，以及落实了哪些复盘和预防性行动项。

雇主需要看到的是你能协调，而不只是会看日志。

你部署的每个系统迟早都会出事故。事后客户记住的，是晚上 9 点谁接过了方向盘，以及哪一份文档让同样的故障没有发生第二次。

**本周动手试试:**

- 起草一份四行的事故声明模板（发生了什么、影响、谁是指挥官、下次更新时间），保存在你和客户的共享频道里。
- 和客户商定一份必须写复盘的触发标准清单，从“任何形式的数据丢失”开始。
- 挑一起你自己经历过的旧事故，按本文的结构改写成一页纸的复盘。

## 信源

- [Chapter 15 - Postmortem Culture: Learning from Failure (Google SRE Book)](https://sre.google/sre-book/postmortem-culture/)

- [Chapter 10 - Postmortem Culture: Learning from Failure (Google SRE Workbook)](https://sre.google/workbook/postmortem-culture/)

- [Managing Incidents (Google SRE Book, Chapter 14)](https://sre.google/sre-book/managing-incidents/)

- [Different Roles - PagerDuty Incident Response Documentation](https://response.pagerduty.com/before/different_roles/)

- [Cloudflare outage on November 18, 2025](https://blog.cloudflare.com/18-november-2025-outage/)
