FDE 永远不该向客户做的可用性承诺
Google 的 SRE 书用事先写明、双方认可的错误预算取而代之,FDE 只需读其中三章和一份策略范例。

要点速览
- 这本书版权归 Google 所有,2017 年由 O'Reilly Media 出版,可在 sre.google 在线阅读。
- FDE 应先读第 3、4、15 章,再看 SRE Workbook 中的错误预算策略示例。
- 值得记住的三个观点:100% 是错误的目标;SLO 应先宽松、再逐步收紧;复盘是为了学习,不是为了惩罚。
Betsy Beyer 是这本书的四位编者之一,她谈到错误预算策略时说得很直接:策略必须清晰、成文,并且事先达成一致。换句话说,系统故障太频繁时该怎么办,这条规则要在系统出问题之前就定好,而不是事后再争。
前线部署工程师(FDE)在每个客户那里都会碰到这个问题。系统上了生产环境,客户问稳不稳定,而“还算稳定”不是一个能度量的回答。
这本书很厚,但 FDE 不必通读。下文挑出对客户侧工作最有用的几章,给出阅读顺序,以及三个可以带进会议室的观点。
Google 写的一本书:讲它如何运维自己的系统
这本书版权归 Google 所有,2017 年由 O’Reilly Media 出版,可在 sre.google 在线阅读。编者是 Betsy Beyer、Chris Jones、Jennifer Petoff 和 Niall Richard Murphy。
有一点要先说明。一位从业者在书评中指出,这本书并不好读,但仍向大多数工程师推荐,无论对方是否从事 SRE。
所以不要从头读到尾。对 FDE 来说,合理的顺序是第 3 章(Embracing Risk,拥抱风险)、第 4 章(Service Level Objectives,服务等级目标),然后是第 15 章(Postmortem Culture: Learning from Failure,复盘文化:从失败中学习)。之后再翻到 SRE Workbook,看其中的错误预算策略示例。
为什么 100% 是错误的目标?
第 3 章认为,100% 几乎从来都不是正确的可靠性目标。书中用错误预算取而代之。按作者的说法,错误预算让 SRE 团队和产品研发团队站到同一边:双方利益一致,共同管理同一份失败预算。
在客户现场,这两方通常就是你和客户的运维团队。你想每周上线新功能,他们希望谁都别碰系统。错误预算把凭感觉的争论变成了一道减法题。
SRE Workbook 把算法写得很清楚:可用性 SLO 为 99.9%,意味着预算为 0.1%。如果服务在四周内收到 1,000,000 次请求,这段时间内允许 1,000 次请求失败。
预算还有剩余,就继续发布。一旦耗尽,示例策略要求停止一切变更和发布,P0 事故和安全修复除外。
这也是 Beyer 强调事先达成一致的原因。到客户现场的第一件事,就是把这条发布冻结规则写下来,在事故发生前让双方都签字认可。
SLI、SLO 与目标过严的陷阱
第 4 章区分了三个常被混用的术语。SLI 是度量服务某一具体方面的数值,必须仔细定义。SLO 是你希望这个数值达到的水平,可以是一个阈值,也可以是一个区间;SLA 是对用户的承诺,其中包含的 SLO 达成与否都有相应后果。
没有这层区分,客户会议很容易变成印象之争。“系统很快”不是 SLI。“在负载均衡器处测得、延迟低于某个阈值的请求占比”才是 SLI;你为它设定的百分比就是 SLO。
这一章最实用的建议可以归结为一句话:先设宽松的目标,再逐步收紧。FDE 尤其要记住这一点,因为客户往往在第一周、你还没有任何基线数据时,就要求一个漂亮的数字。
设想在客户那里部署 API 的第一周。你还不清楚系统的真实表现,于是把前四周的 SLO 定为 99%:按 1,000,000 次请求计,预算是 10,000 次失败,足够宽,团队可以边学边运维,不必频繁冻结发布。
四周后,假设数据显示真实成功率稳定在 99.95% 左右。这时你就有依据把内部 SLO 收紧到 99.9%,即 1,000 次失败的预算,而对客户承诺的数字仍保持在较低水平。
这个差距是有意为之。书中建议内部 SLO 要比对用户公布的 SLO 更严,留出余地,在持续性问题影响到对客户的承诺之前把它处理掉。
复盘:修正系统,而不是追究个人
第 15 章把无责复盘视为 SRE 文化的基础:写复盘不是惩罚,而是全公司的学习机会。这一章还建议在任何事故发生之前,先定好哪些情况必须写复盘。
设想你刚给客户系统推送一次更新就出了事故:由于一个配置文件有误,API 连续 40 分钟返回错误。
追责式的复盘会这样写:“原因:负责部署的工程师未经检查就把错误配置推到了生产环境。”读完之后,唯一的改进措施就是“下次更仔细一点”,而下次同样的故障还会再来。
无责版本讲的是同一件事,但追问的是系统为什么允许它发生。“原因:流水线允许配置未经自动校验就推送到生产环境;没有分阶段发布,故障波及了所有用户。”随之而来的措施就很具体:增加强制校验步骤,按小批量逐步发布。
第二种写法不会让任何人陷入自我辩护,包括客户的团队,所以大家愿意说出真实经过。Beyer 也认为,追责只会让真相被掩盖。写复盘时,把原因部分过一遍:凡是主语是人的句子,都改写成以流程或工具为主语。
把三章内容变成简历上的一行
准备申请 FDE 岗位时,不要只说自己读过 SRE 书,而要展示你如何把系统上到生产环境并让它可靠运行。
这项技能确实出现在真实的招聘信息里。Paladin Drones 的一则 Deployed Engineer 岗位要求候选人参与事故响应、在 SLA 期限内提交根因分析(RCA)、维护 SLO,并跟踪整改措施直至关闭。
阅读岗位描述时,只要看到事故、RCA 或 SLO,就是你提起这三章的切入点。
简历上写一行具体的内容,例如“为客户现场部署的系统制定 SLO 和错误预算策略;主导无责复盘并推动发布流程改进”。面试时,准备好讲解一次预算计算,比如上文 99.9% 的例子,并用无责的方式复述一次事故。
在白板上做一遍这道减法,远比简历上一句“读过 SRE 书”更有分量。
这篇文章对你有帮助吗?
感谢你的反馈!
8 个信源
- Google SRE - Site reliability engineering book (Table of Contents)
- Chapter 4 - Service Level Objectives, Google SRE Book
- Chapter 3 - Embracing Risk, Google SRE Book
- Example Error Budget Policy, Google SRE Workbook · 2018-02-19
- Chapter 15 - Postmortem Culture: Learning from Failure, Google SRE Book
- Interview with Betsy Beyer, Stephen Thorne of Google · 2018-10-09
- Book Review: Site Reliability Engineering · 2020-05-12
- Deployed Engineer - Paladin Drones (Built In)