FDE Times 数据在招 FDE 职位 882▼2 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 52在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

书籍与课程

FDE 永远不该向客户做的可用性承诺

Google 的 SRE 书用事先写明、双方认可的错误预算取而代之,FDE 只需读其中三章和一份策略范例。

封面: Site Reliability Engineering: How Google Runs Production Systems
Site Reliability Engineering: How Google Runs Production Systems · Betsy Beyer · 封面图片:Open Library
分享微博

要点速览

  • 这本书版权归 Google 所有,2017 年由 O'Reilly Media 出版,可在 sre.google 在线阅读。
  • FDE 应先读第 3、4、15 章,再看 SRE Workbook 中的错误预算策略示例。
  • 值得记住的三个观点:100% 是错误的目标;SLO 应先宽松、再逐步收紧;复盘是为了学习,不是为了惩罚。
大数字图表:四周内 1,000,000 次请求,99.9% 的 SLO 只允许 1,000 次失败请求。两根横条对比两种选择:99.9% SLO 的横条长度为 1,000 次错误,上线初期采用的 99% SLO 横条长度为 10,000 次错误,是前者的十倍。
以 1,000,000 次请求计,把 SLO 从 99% 收紧到 99.9%,四周的错误预算就从 10,000 次失败请求降到 1,000 次。来源:Google SRE Workbook,按文中引用的算法计算。

Betsy Beyer 是这本书的四位编者之一,她谈到错误预算策略时说得很直接:策略必须清晰、成文,并且事先达成一致。换句话说,系统故障太频繁时该怎么办,这条规则要在系统出问题之前就定好,而不是事后再争。

前线部署工程师(FDE)在每个客户那里都会碰到这个问题。系统上了生产环境,客户问稳不稳定,而“还算稳定”不是一个能度量的回答。

这本书很厚,但 FDE 不必通读。下文挑出对客户侧工作最有用的几章,给出阅读顺序,以及三个可以带进会议室的观点。

Google 写的一本书:讲它如何运维自己的系统

这本书版权归 Google 所有,2017 年由 O’Reilly Media 出版,可在 sre.google 在线阅读。编者是 Betsy Beyer、Chris Jones、Jennifer Petoff 和 Niall Richard Murphy。

有一点要先说明。一位从业者在书评中指出,这本书并不好读,但仍向大多数工程师推荐,无论对方是否从事 SRE。

所以不要从头读到尾。对 FDE 来说,合理的顺序是第 3 章(Embracing Risk,拥抱风险)、第 4 章(Service Level Objectives,服务等级目标),然后是第 15 章(Postmortem Culture: Learning from Failure,复盘文化:从失败中学习)。之后再翻到 SRE Workbook,看其中的错误预算策略示例。

为什么 100% 是错误的目标?

第 3 章认为,100% 几乎从来都不是正确的可靠性目标。书中用错误预算取而代之。按作者的说法,错误预算让 SRE 团队和产品研发团队站到同一边:双方利益一致,共同管理同一份失败预算。

在客户现场,这两方通常就是你和客户的运维团队。你想每周上线新功能,他们希望谁都别碰系统。错误预算把凭感觉的争论变成了一道减法题。

SRE Workbook 把算法写得很清楚:可用性 SLO 为 99.9%,意味着预算为 0.1%。如果服务在四周内收到 1,000,000 次请求,这段时间内允许 1,000 次请求失败。

预算还有剩余,就继续发布。一旦耗尽,示例策略要求停止一切变更和发布,P0 事故和安全修复除外。

这也是 Beyer 强调事先达成一致的原因。到客户现场的第一件事,就是把这条发布冻结规则写下来,在事故发生前让双方都签字认可。

SLI、SLO 与目标过严的陷阱

第 4 章区分了三个常被混用的术语。SLI 是度量服务某一具体方面的数值,必须仔细定义。SLO 是你希望这个数值达到的水平,可以是一个阈值,也可以是一个区间;SLA 是对用户的承诺,其中包含的 SLO 达成与否都有相应后果。

没有这层区分,客户会议很容易变成印象之争。“系统很快”不是 SLI。“在负载均衡器处测得、延迟低于某个阈值的请求占比”才是 SLI;你为它设定的百分比就是 SLO。

这一章最实用的建议可以归结为一句话:先设宽松的目标,再逐步收紧。FDE 尤其要记住这一点,因为客户往往在第一周、你还没有任何基线数据时,就要求一个漂亮的数字。

设想在客户那里部署 API 的第一周。你还不清楚系统的真实表现,于是把前四周的 SLO 定为 99%:按 1,000,000 次请求计,预算是 10,000 次失败,足够宽,团队可以边学边运维,不必频繁冻结发布。

四周后,假设数据显示真实成功率稳定在 99.95% 左右。这时你就有依据把内部 SLO 收紧到 99.9%,即 1,000 次失败的预算,而对客户承诺的数字仍保持在较低水平。

这个差距是有意为之。书中建议内部 SLO 要比对用户公布的 SLO 更严,留出余地,在持续性问题影响到对客户的承诺之前把它处理掉。

复盘:修正系统,而不是追究个人

第 15 章把无责复盘视为 SRE 文化的基础:写复盘不是惩罚,而是全公司的学习机会。这一章还建议在任何事故发生之前,先定好哪些情况必须写复盘。

设想你刚给客户系统推送一次更新就出了事故:由于一个配置文件有误,API 连续 40 分钟返回错误。

追责式的复盘会这样写:“原因:负责部署的工程师未经检查就把错误配置推到了生产环境。”读完之后,唯一的改进措施就是“下次更仔细一点”,而下次同样的故障还会再来。

无责版本讲的是同一件事,但追问的是系统为什么允许它发生。“原因:流水线允许配置未经自动校验就推送到生产环境;没有分阶段发布,故障波及了所有用户。”随之而来的措施就很具体:增加强制校验步骤,按小批量逐步发布。

第二种写法不会让任何人陷入自我辩护,包括客户的团队,所以大家愿意说出真实经过。Beyer 也认为,追责只会让真相被掩盖。写复盘时,把原因部分过一遍:凡是主语是人的句子,都改写成以流程或工具为主语。

把三章内容变成简历上的一行

准备申请 FDE 岗位时,不要只说自己读过 SRE 书,而要展示你如何把系统上到生产环境并让它可靠运行。

这项技能确实出现在真实的招聘信息里。Paladin Drones 的一则 Deployed Engineer 岗位要求候选人参与事故响应、在 SLA 期限内提交根因分析(RCA)、维护 SLO,并跟踪整改措施直至关闭。

阅读岗位描述时,只要看到事故、RCA 或 SLO,就是你提起这三章的切入点。

简历上写一行具体的内容,例如“为客户现场部署的系统制定 SLO 和错误预算策略;主导无责复盘并推动发布流程改进”。面试时,准备好讲解一次预算计算,比如上文 99.9% 的例子,并用无责的方式复述一次事故。

在白板上做一遍这道减法,远比简历上一句“读过 SRE 书”更有分量。

这篇文章对你有帮助吗?

8 个信源
路线图上的下一篇 · 阶段 5: 部署上线客户现场出故障,先协调再排查尽早宣布事故、只设一名指挥官、写一份坦诚的复盘,决定了事后客户还剩多少信任。