FDE Times 数据在招 FDE 职位 882▼2 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 52在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

客户现场出故障,先协调再排查

尽早宣布事故、只设一名指挥官、写一份坦诚的复盘,决定了事后客户还剩多少信任。

分享微博

要点速览

  • 尽早宣布事故,不要等问题持续几个小时才动手。
  • 只允许一个团队改动系统,事故指挥官是掌握准确信息的唯一来源。
  • 如果没有从事故中学习的正式流程,例如按预设标准触发的无责复盘,同类事故可能反复发生。
一起假设事故第一个小时的时间线。时间轴按分钟等比例绘制,从 20:50 到 22:15。20:50 定时任务运行,21:04 客户报告订单有误,21:07 宣布事故,21:12 用配置开关关闭任务(以强调色标出的节点),21:20 不再有新的覆盖写入,直到 22:15 才查明原因。21:12 至 22:15 之间的阴影带标注“已控制,原因未明”。
在本文的示例中,任务在 21:12 被配置开关关闭,当时还没人知道它为什么出错。这一步阻止了错误数据继续写入,原因直到 22:15 才查明。来源:文中的假设时间线。

设想这样一个场景:晚上 9 点,你和客户共用的聊天频道突然被消息刷屏。你上周部署的数据同步任务正在覆盖订单数据。客户那边三个人同时在提问,他们的一位工程师已经登录服务器,准备“重启试试”。你一边开着日志,一边接电话。

这时候,代码写得再好也救不了场。真正决定结果的是你会不会协调:谁可以动系统,谁负责和客户沟通,谁负责记录经过。

对前线部署工程师(FDE)来说,事故很少发生在“自己家里”。你夹在两个组织、两支工程团队和两套流程之间。第一个小时怎么处理,事后写出怎样的复盘,决定了客户还会在多大程度上信任你。

为什么要尽早宣布事故?

Google 的 SRE 书建议尽早宣布事故,不要等问题拖了几个小时、越闹越大才行动。工程师的本能往往相反:先悄悄修好,再事后汇报,怕小题大做。

在客户现场,晚报的代价更高。如果客户先于你发现问题,他们会按自己的方式处理,事情就变成了“供应商隐瞒 bug”。早宣布、后降级,远比晚宣布划算。

宣布事故不需要什么仪式。在共享频道里发一条清楚的消息就够了:

[INCIDENT] 订单同步任务自 20:50 起一直在覆盖记录。
影响:今天的部分订单状态可能有误。
指挥官:Minh(FDE)。所有系统改动都须经 Minh 确认。
下次更新:21:30,有进展会提前通报。

第三行最重要,因为它能让所有人立刻停止各自动手修复。

四顶帽子,哪怕只有两个人

PagerDuty 把事故指挥官(Incident Commander)定义为掌握事故准确信息的唯一来源。Google 还补充了一条硬规则:事故处理期间,只有运维团队可以改动系统,指挥官负责把握全局。

另外两个角色常被忽略。PagerDuty 把记录员(Scribe)定义为在事故期间记录时间线的人,把客户联络人定义为直接与客户沟通的人。Google 的书里有一个类似的角色,叫沟通负责人,代表整个响应团队对外发言。

对于小型事故,PagerDuty 允许一人兼任多个角色。在客户现场的实际情况中,FDE 往往既是指挥官,又是联络人。要避免的是某个角色无人承担。

角色 示例中由谁担任 主要职责 不做什么
事故指挥官 FDE 做决策,维护统一的状态信息 亲自敲修复命令
运维 一位指定的工程师 执行商定好的改动 在计划之外做尝试
记录员 一位同事或 FDE 记录带时间戳的时间线 在事故中途分析原因
客户联络人 FDE 或客户负责人 按承诺的时间更新进展 承诺修复时间

面对客户的工程师,这一点最难开口。你无权给他们下命令,但可以直接提议:“您能来负责运维吗?每条命令执行前,我们先在这个频道里对一下。”通常他们会松一口气,因为终于有人来掌舵了。

从时间线看第一个小时

继续上面的假设示例,记录员记下的时间线大致如下。注意,每一行记录的是事件,而不是判断。

20:50  同步任务按计划运行。
21:04  客户报告订单状态有误。
21:07  Minh 宣布事故,分配角色。
21:12  运维通过配置开关临时停用同步任务。
21:20  确认:没有新的覆盖写入。
21:30  向客户更新:扩散已控制,正在评估受影响数据的范围。

22:15  原因查明:最近一次部署修改了键映射。

这个顺序是有意为之:先控制损失,再查原因。21:12 时还没人知道任务为什么出错,但关掉它就足以阻止错误数据继续写入。

如果事故拖到第二天,Google 强调必须在工作日结束时明确交接指挥权。一句“从早上 8 点起由 Lan 担任指挥官,时间线在这个链接”,就能避免两个人都以为自己在掌舵,或者根本没人掌舵。

复盘:修系统,不修人

Google 把复盘(postmortem)定义为一份书面记录,内容包括事故本身、影响,以及为缓解或解决事故采取的措施。写复盘的理由很简单:按 SRE 书的说法,如果没有从事故中学习的正式流程,事故可能会无限重演。

什么情况下必须写?Google 建议事先设定触发标准,例如任何形式的数据丢失。示例中被覆盖的订单正好符合这一标准,所以没人需要争论要不要写。

复盘的精神是无责。SRE 书指出,人是“修”不好的,但可以修复系统和流程,让它们更好地支持人。“Minh 部署了错误的映射”什么也教不会。“部署流水线没有用真实数据校验键映射”则指明了需要做的工作。

Cloudflare 针对 2025 年 11 月 18 日事故发布的公开复盘,是一份值得研读的范本。开篇就是管理层的直接道歉:他们代表整个团队,为当天给互联网造成的损害致歉。触发原因也说得很直白:一个数据库系统的权限变更。

整改清单同样具体,其中包括为各项功能增加更多全局紧急开关(kill switch)。

紧急开关这个细节值得 FDE 记住。在本文的示例里,21:12 那一步之所以快,只是因为任务本来就有一个关闭开关。如果没有,这正是复盘行动清单里应该排在第一位的事项。

发给客户的复盘可以只有一页:概述与道歉、影响(多少条记录、持续多长时间)、时间线、触发原因、解决过程,以及预防性行动项,每一项都有负责人和截止日期。

一个培养无责思维的小练习:把开头场景里那句“客户的工程师登录服务器并重启了它”,改写成系统层面的缺陷。

提示:想一想,是什么让这个操作在当时既可行、又显得合理?比如缺少一个用来商定命令的频道,或者没有人被指派为运维。你的答案就是一条预防性行动项。

客户从没写过复盘怎么办?

这很常见。Google 的《SRE 工作手册》(SRE Workbook)承认,在组织中引入复盘,既是技术变革,也是文化变革。它的建议是从很基础的流程做起,再逐步调整,使之适应组织。

对 FDE 来说,从小处做起就是自己先写第一份,邀请客户阅读和评论,而不是一上来就提议一整套新流程。客户一旦看到一份不追责任何人、却能落实具体工作的文档,下次就会主动问你是不是在写复盘。

常见错误

最常见的错误是让好几个人同时修。你在回滚,客户的工程师却重启了服务,结果没人知道到底是哪个改动起了作用。其次是没有记录员:到写复盘的时候,整个团队只能凭记忆和聊天记录拼凑时间线。

第三个错误出在沟通上:原因还没查明就承诺修复时间。只承诺下次更新的时间,然后守住这个承诺。最后一个错误是写完复盘就归档,没有把任何行动项分配给负责人,于是老事故原样重现,正如 SRE 书所警告的那样。

如果你的目标是 FDE 岗位,请仔细阅读那些提到值班(on-call)、事故响应或直接接触客户基础设施的岗位描述。简历上不要只写“处理过生产事故”,要写清楚你担任过事故指挥官、多快控制住了损失,以及落实了哪些复盘和预防性行动项。

雇主需要看到的是你能协调,而不只是会看日志。

你部署的每个系统迟早都会出事故。事后客户记住的,是晚上 9 点谁接过了方向盘,以及哪一份文档让同样的故障没有发生第二次。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 5: 部署上线在客户 IT 追问 80 端口之前,先画好出站清单主机清单取自厂商官方,按域名而非 IP 申请,提交防火墙工单前把每一行讲清楚。