客户现场出故障,先协调再排查
尽早宣布事故、只设一名指挥官、写一份坦诚的复盘,决定了事后客户还剩多少信任。
要点速览
- 尽早宣布事故,不要等问题持续几个小时才动手。
- 只允许一个团队改动系统,事故指挥官是掌握准确信息的唯一来源。
- 如果没有从事故中学习的正式流程,例如按预设标准触发的无责复盘,同类事故可能反复发生。
设想这样一个场景:晚上 9 点,你和客户共用的聊天频道突然被消息刷屏。你上周部署的数据同步任务正在覆盖订单数据。客户那边三个人同时在提问,他们的一位工程师已经登录服务器,准备“重启试试”。你一边开着日志,一边接电话。
这时候,代码写得再好也救不了场。真正决定结果的是你会不会协调:谁可以动系统,谁负责和客户沟通,谁负责记录经过。
对前线部署工程师(FDE)来说,事故很少发生在“自己家里”。你夹在两个组织、两支工程团队和两套流程之间。第一个小时怎么处理,事后写出怎样的复盘,决定了客户还会在多大程度上信任你。
为什么要尽早宣布事故?
Google 的 SRE 书建议尽早宣布事故,不要等问题拖了几个小时、越闹越大才行动。工程师的本能往往相反:先悄悄修好,再事后汇报,怕小题大做。
在客户现场,晚报的代价更高。如果客户先于你发现问题,他们会按自己的方式处理,事情就变成了“供应商隐瞒 bug”。早宣布、后降级,远比晚宣布划算。
宣布事故不需要什么仪式。在共享频道里发一条清楚的消息就够了:
[INCIDENT] 订单同步任务自 20:50 起一直在覆盖记录。
影响:今天的部分订单状态可能有误。
指挥官:Minh(FDE)。所有系统改动都须经 Minh 确认。
下次更新:21:30,有进展会提前通报。
第三行最重要,因为它能让所有人立刻停止各自动手修复。
四顶帽子,哪怕只有两个人
PagerDuty 把事故指挥官(Incident Commander)定义为掌握事故准确信息的唯一来源。Google 还补充了一条硬规则:事故处理期间,只有运维团队可以改动系统,指挥官负责把握全局。
另外两个角色常被忽略。PagerDuty 把记录员(Scribe)定义为在事故期间记录时间线的人,把客户联络人定义为直接与客户沟通的人。Google 的书里有一个类似的角色,叫沟通负责人,代表整个响应团队对外发言。
对于小型事故,PagerDuty 允许一人兼任多个角色。在客户现场的实际情况中,FDE 往往既是指挥官,又是联络人。要避免的是某个角色无人承担。
| 角色 | 示例中由谁担任 | 主要职责 | 不做什么 |
|---|---|---|---|
| 事故指挥官 | FDE | 做决策,维护统一的状态信息 | 亲自敲修复命令 |
| 运维 | 一位指定的工程师 | 执行商定好的改动 | 在计划之外做尝试 |
| 记录员 | 一位同事或 FDE | 记录带时间戳的时间线 | 在事故中途分析原因 |
| 客户联络人 | FDE 或客户负责人 | 按承诺的时间更新进展 | 承诺修复时间 |
面对客户的工程师,这一点最难开口。你无权给他们下命令,但可以直接提议:“您能来负责运维吗?每条命令执行前,我们先在这个频道里对一下。”通常他们会松一口气,因为终于有人来掌舵了。
从时间线看第一个小时
继续上面的假设示例,记录员记下的时间线大致如下。注意,每一行记录的是事件,而不是判断。
20:50 同步任务按计划运行。
21:04 客户报告订单状态有误。
21:07 Minh 宣布事故,分配角色。
21:12 运维通过配置开关临时停用同步任务。
21:20 确认:没有新的覆盖写入。
21:30 向客户更新:扩散已控制,正在评估受影响数据的范围。
22:15 原因查明:最近一次部署修改了键映射。
这个顺序是有意为之:先控制损失,再查原因。21:12 时还没人知道任务为什么出错,但关掉它就足以阻止错误数据继续写入。
如果事故拖到第二天,Google 强调必须在工作日结束时明确交接指挥权。一句“从早上 8 点起由 Lan 担任指挥官,时间线在这个链接”,就能避免两个人都以为自己在掌舵,或者根本没人掌舵。
复盘:修系统,不修人
Google 把复盘(postmortem)定义为一份书面记录,内容包括事故本身、影响,以及为缓解或解决事故采取的措施。写复盘的理由很简单:按 SRE 书的说法,如果没有从事故中学习的正式流程,事故可能会无限重演。
什么情况下必须写?Google 建议事先设定触发标准,例如任何形式的数据丢失。示例中被覆盖的订单正好符合这一标准,所以没人需要争论要不要写。
复盘的精神是无责。SRE 书指出,人是“修”不好的,但可以修复系统和流程,让它们更好地支持人。“Minh 部署了错误的映射”什么也教不会。“部署流水线没有用真实数据校验键映射”则指明了需要做的工作。
Cloudflare 针对 2025 年 11 月 18 日事故发布的公开复盘,是一份值得研读的范本。开篇就是管理层的直接道歉:他们代表整个团队,为当天给互联网造成的损害致歉。触发原因也说得很直白:一个数据库系统的权限变更。
整改清单同样具体,其中包括为各项功能增加更多全局紧急开关(kill switch)。
紧急开关这个细节值得 FDE 记住。在本文的示例里,21:12 那一步之所以快,只是因为任务本来就有一个关闭开关。如果没有,这正是复盘行动清单里应该排在第一位的事项。
发给客户的复盘可以只有一页:概述与道歉、影响(多少条记录、持续多长时间)、时间线、触发原因、解决过程,以及预防性行动项,每一项都有负责人和截止日期。
一个培养无责思维的小练习:把开头场景里那句“客户的工程师登录服务器并重启了它”,改写成系统层面的缺陷。
提示:想一想,是什么让这个操作在当时既可行、又显得合理?比如缺少一个用来商定命令的频道,或者没有人被指派为运维。你的答案就是一条预防性行动项。
客户从没写过复盘怎么办?
这很常见。Google 的《SRE 工作手册》(SRE Workbook)承认,在组织中引入复盘,既是技术变革,也是文化变革。它的建议是从很基础的流程做起,再逐步调整,使之适应组织。
对 FDE 来说,从小处做起就是自己先写第一份,邀请客户阅读和评论,而不是一上来就提议一整套新流程。客户一旦看到一份不追责任何人、却能落实具体工作的文档,下次就会主动问你是不是在写复盘。
常见错误
最常见的错误是让好几个人同时修。你在回滚,客户的工程师却重启了服务,结果没人知道到底是哪个改动起了作用。其次是没有记录员:到写复盘的时候,整个团队只能凭记忆和聊天记录拼凑时间线。
第三个错误出在沟通上:原因还没查明就承诺修复时间。只承诺下次更新的时间,然后守住这个承诺。最后一个错误是写完复盘就归档,没有把任何行动项分配给负责人,于是老事故原样重现,正如 SRE 书所警告的那样。
如果你的目标是 FDE 岗位,请仔细阅读那些提到值班(on-call)、事故响应或直接接触客户基础设施的岗位描述。简历上不要只写“处理过生产事故”,要写清楚你担任过事故指挥官、多快控制住了损失,以及落实了哪些复盘和预防性行动项。
雇主需要看到的是你能协调,而不只是会看日志。
你部署的每个系统迟早都会出事故。事后客户记住的,是晚上 9 点谁接过了方向盘,以及哪一份文档让同样的故障没有发生第二次。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- Chapter 15 - Postmortem Culture: Learning from Failure (Google SRE Book) · 2017
- Chapter 10 - Postmortem Culture: Learning from Failure (Google SRE Workbook) · 2018
- Managing Incidents (Google SRE Book, Chapter 14) · 2017
- Different Roles - PagerDuty Incident Response Documentation
- Cloudflare outage on November 18, 2025 · 2025-11-18