# FDE 永远不该向客户做的可用性承诺

> Google 的 SRE 书用事先写明、双方认可的错误预算取而代之，FDE 只需读其中三章和一份策略范例。

原文: https://fdetimes.net/zh/books-courses/google-sre-book-slo-error-budget-postmortem/

Betsy Beyer 是这本书的四位编者之一，她谈到错误预算策略时说得很直接：策略必须清晰、成文，并且事先达成一致。换句话说，系统故障太频繁时该怎么办，这条规则要在系统出问题之前就定好，而不是事后再争。

前线部署工程师（FDE）在每个客户那里都会碰到这个问题。系统上了生产环境，客户问稳不稳定，而“还算稳定”不是一个能度量的回答。

这本书很厚，但 FDE 不必通读。下文挑出对客户侧工作最有用的几章，给出阅读顺序，以及三个可以带进会议室的观点。

## Google 写的一本书：讲它如何运维自己的系统

这本书版权归 Google 所有，2017 年由 O'Reilly Media 出版，可在 sre.google 在线阅读。编者是 Betsy Beyer、Chris Jones、Jennifer Petoff 和 Niall Richard Murphy。

有一点要先说明。一位从业者在书评中指出，这本书并不好读，但仍向大多数工程师推荐，无论对方是否从事 SRE。

所以不要从头读到尾。对 FDE 来说，合理的顺序是第 3 章（Embracing Risk，拥抱风险）、第 4 章（Service Level Objectives，服务等级目标），然后是第 15 章（Postmortem Culture: Learning from Failure，复盘文化：从失败中学习）。之后再翻到 SRE Workbook，看其中的错误预算策略示例。

## 为什么 100% 是错误的目标？

第 3 章认为，100% 几乎从来都不是正确的可靠性目标。书中用错误预算取而代之。按作者的说法，错误预算让 SRE 团队和产品研发团队站到同一边：双方利益一致，共同管理同一份失败预算。

在客户现场，这两方通常就是你和客户的运维团队。你想每周上线新功能，他们希望谁都别碰系统。错误预算把凭感觉的争论变成了一道减法题。

SRE Workbook 把算法写得很清楚：可用性 SLO 为 99.9%，意味着预算为 0.1%。如果服务在四周内收到 1,000,000 次请求，这段时间内允许 1,000 次请求失败。

预算还有剩余，就继续发布。一旦耗尽，示例策略要求停止一切变更和发布，P0 事故和安全修复除外。

这也是 Beyer 强调事先达成一致的原因。到客户现场的第一件事，就是把这条发布冻结规则写下来，在事故发生前让双方都签字认可。

## SLI、SLO 与目标过严的陷阱

第 4 章区分了三个常被混用的术语。SLI 是度量服务某一具体方面的数值，必须仔细定义。SLO 是你希望这个数值达到的水平，可以是一个阈值，也可以是一个区间；SLA 是对用户的承诺，其中包含的 SLO 达成与否都有相应后果。

没有这层区分，客户会议很容易变成印象之争。“系统很快”不是 SLI。“在负载均衡器处测得、延迟低于某个阈值的请求占比”才是 SLI；你为它设定的百分比就是 SLO。

这一章最实用的建议可以归结为一句话：先设宽松的目标，再逐步收紧。FDE 尤其要记住这一点，因为客户往往在第一周、你还没有任何基线数据时，就要求一个漂亮的数字。

设想在客户那里部署 API 的第一周。你还不清楚系统的真实表现，于是把前四周的 SLO 定为 99%：按 1,000,000 次请求计，预算是 10,000 次失败，足够宽，团队可以边学边运维，不必频繁冻结发布。

四周后，假设数据显示真实成功率稳定在 99.95% 左右。这时你就有依据把内部 SLO 收紧到 99.9%，即 1,000 次失败的预算，而对客户承诺的数字仍保持在较低水平。

这个差距是有意为之。书中建议内部 SLO 要比对用户公布的 SLO 更严，留出余地，在持续性问题影响到对客户的承诺之前把它处理掉。

**要点:** 承诺一个宽松的目标再逐步收紧，永远比承诺一个漂亮的数字再食言更稳妥。

## 复盘：修正系统，而不是追究个人

第 15 章把无责复盘视为 SRE 文化的基础：写复盘不是惩罚，而是全公司的学习机会。这一章还建议在任何事故发生之前，先定好哪些情况必须写复盘。

设想你刚给客户系统推送一次更新就出了事故：由于一个配置文件有误，API 连续 40 分钟返回错误。

追责式的复盘会这样写：“原因：负责部署的工程师未经检查就把错误配置推到了生产环境。”读完之后，唯一的改进措施就是“下次更仔细一点”，而下次同样的故障还会再来。

无责版本讲的是同一件事，但追问的是系统为什么允许它发生。“原因：流水线允许配置未经自动校验就推送到生产环境；没有分阶段发布，故障波及了所有用户。”随之而来的措施就很具体：增加强制校验步骤，按小批量逐步发布。

第二种写法不会让任何人陷入自我辩护，包括客户的团队，所以大家愿意说出真实经过。Beyer 也认为，追责只会让真相被掩盖。写复盘时，把原因部分过一遍：凡是主语是人的句子，都改写成以流程或工具为主语。

## 把三章内容变成简历上的一行

准备申请 FDE 岗位时，不要只说自己读过 SRE 书，而要展示你如何把系统上到生产环境并让它可靠运行。

这项技能确实出现在真实的招聘信息里。Paladin Drones 的一则 Deployed Engineer 岗位要求候选人参与事故响应、在 SLA 期限内提交根因分析（RCA）、维护 SLO，并跟踪整改措施直至关闭。

阅读岗位描述时，只要看到事故、RCA 或 SLO，就是你提起这三章的切入点。

简历上写一行具体的内容，例如“为客户现场部署的系统制定 SLO 和错误预算策略；主导无责复盘并推动发布流程改进”。面试时，准备好讲解一次预算计算，比如上文 99.9% 的例子，并用无责的方式复述一次事故。

在白板上做一遍这道减法，远比简历上一句“读过 SRE 书”更有分量。

**本周动手试试:**

- 选出当前客户最重要的一条业务流程，为它写一个 SLI 和一个宽松的 SLO，再计算四周的错误预算。
- 写下哪些事故必须做复盘的标准，发给客户团队，在下一次事故发生前达成一致。
- 在简历上加一行，描述你制定过的一个 SLO 或主导过的一次复盘，以及它带来的系统改进。

## 信源

- [Google SRE - Site reliability engineering book (Table of Contents)](https://sre.google/sre-book/table-of-contents/)

- [Chapter 4 - Service Level Objectives, Google SRE Book](https://sre.google/sre-book/service-level-objectives/)

- [Chapter 3 - Embracing Risk, Google SRE Book](https://sre.google/sre-book/embracing-risk/)

- [Example Error Budget Policy, Google SRE Workbook](https://sre.google/workbook/error-budget-policy/)

- [Chapter 15 - Postmortem Culture: Learning from Failure, Google SRE Book](https://sre.google/sre-book/postmortem-culture/)

- [Interview with Betsy Beyer, Stephen Thorne of Google](https://driftboatdave.com/2018/10/)

- [Book Review: Site Reliability Engineering](https://blog.kartones.net/post/book-review-site-reliability-engineering/)

- [Deployed Engineer - Paladin Drones (Built In)](https://builtin.com/job/deployed-engineer/7651729)
