FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

99.9% 的 SLA,每天只给你 86 秒停机时间

数据库、第三方 API 和两分钟的故障切换层层相乘,这个看似稳妥的承诺就开始松动。

分享微博

要点速览

  • 99.9% 每天只允许约 1 分 26 秒停机,每月 43 分 50 秒。
  • 串联的组件会拉低可用性;要把它拉回来,需要通过故障切换和复制实现相互独立的冗余。
  • 故障切换有代价:切换耗时、额外的复杂度,以及可能丢失尚未复制的数据。
点图对比各方案的每月估算停机时间与 99.9% 的预算 43 分 50 秒。1 个应用 + 1 个数据库:约 1 小时 27 分。1 个应用 + 2 个并联数据库:约 43 分 53 秒,仍略超预算。
只把数据库加倍还不够:单台应用服务器仍会让停机时间略超 99.9% 的预算。来源:uptime.is、System Design Primer、AWS;停机时间为文中估算值。

会议快结束时,客户的采购负责人问:“你们能承诺 99.9% 吗?”所有人都看向你,因为系统是你搭的。你可以马上点头,毕竟这个数字听起来相当稳妥;也可以要十分钟,先把账算清楚。

对前线部署工程师(FDE)来说,这正是技术能力变成合同承诺的时刻。点头点错了,团队要用一个个值班的夜晚来买单,客户也会失去信任。数字算对了,你就清楚架构需要什么,或者合同里哪句措辞必须改。

本文带你走完这十分钟:把百分比换算成分钟,沿依赖链把可用性相乘,再决定故障切换和复制该放在哪里。

99.9% 其实是每月 43 分钟

AWS 把可用性定义为:在一个周期(如一个月或一年)内,工作负载可用时间占总时间的比例。所以第一件事,是把百分比换算成大家听得懂的单位。

根据 uptime.is 的计算器,99.9% 对应每月约 43 分 50 秒、每年 8 小时 45 分 57 秒的停机时间。再细分下去,每周约 10 分 5 秒,每天只有 1 分 26 秒。

最值得记住的是每天这个数字。一次部署让服务重启两分钟,就用光了一整天的预算。Google SRE 把它称为错误预算(error budget):一个客观衡量服务可以容忍多少不可靠的指标。预算必须提前规划,有意识地花。

了解 99.9% 在整个刻度上的位置也有帮助。AWS 把这一级别对应到知识管理、项目跟踪这类内部工具,而电商和销售终端系统对应的是 99.95%。

如果一个在做支付系统的客户只要求 99.9%,这就是一个信号:需要确认对方真正的预期是什么。

依赖链如何侵蚀承诺?

假设你要为客户部署一个内部文档搜索工具。最小配置是一台应用服务器加一个数据库,各自跑在单台机器上,可用性都是 99.9%。每个请求都必须经过这两者,所以它们是串联的两个硬依赖。

串联系统的可用性等于各组件可用性的乘积。System Design Primer 算过:两个 99.9% 的组件串联,只剩 99.8%。继续算下去,停机预算翻倍,达到每月约 1 小时 27 分。你什么都还没加,承诺就已经破了。

链条越长,情况越糟。AWS 举的例子是三个 99.99% 的组件串联后降到 99.97%。实际中,你的链条还包括 DNS、负载均衡器、客户的身份认证服务,可能还有一个第三方 API。每一环都要算进乘法里。

解决办法是相互独立的冗余。据 AWS 介绍,两个各为 99.9% 的独立组件并联运行,有效可用性可达 99.9999%,因为只有两者同时故障,系统才会故障。

方案 估算可用性 每月停机时间(估算)
1 个应用 + 1 个数据库 99.8% 约 1 小时 27 分
1 个应用 + 2 个并联数据库 约 99.8999% 约 43 分 53 秒
2 个并联应用 + 2 个并联数据库 约 99.9998% 几秒

中间那一行是最关键的教训。只把数据库加倍还不够,因为单台 99.9% 的应用服务器仍会把整个系统拉到承诺线以下一点。最弱的单点组件决定了你的数字。

最后一行不要照单全收。这个计算假设两个副本相互独立地发生故障,且切换是瞬时的。放在同一个机架、打着同一批补丁的两个数据库并不独立。切换是否瞬时,则取决于你如何做故障切换。

故障切换和复制能换来什么,又要付出什么?

System Design Primer 把故障切换(failover)和复制(replication)描述为实现高可用的两种互补模式。故障切换决定节点宕机后由谁来承接流量;复制决定接替的节点有没有最新数据。

在主备(active-passive)架构中,两台机器互相发送心跳。心跳一停,备机就接管主机的 IP 地址继续提供服务。切换期间的停机时长取决于备机是已在运行的热备,还是需要从头启动的冷备。

到这里,每天的预算就变得很具体了。一个要花几分钟才能起来的冷备,每次事故都会烧掉超过一天的预算。在架构文档里写下“有故障切换”之前,先测一测它实际要多久。

故障切换还有其他代价。它需要额外的硬件,增加复杂度;如果主机在新写入复制到备机之前就故障,还可能丢数据。对于记录订单或档案的客户来说,丢几秒数据可能比停机几分钟更糟,所以要问清楚他们更怕哪一种。

主备(Active-passive)

  • 更简单、更便宜
  • 切换期间可能有短暂中断
  • 适合大多数 99.9% 的内部工具

双活(Active-active)

  • 更复杂、更昂贵
  • 两个节点都承接流量
  • 适合高负载系统,或必须扛住整个区域故障的系统

最极端的是 Microsoft 介绍的 Geode 模式:跨多个地理区域做双活部署,依靠数据复制扛住整个区域的失效。对于一个内部工具的 99.9% 承诺,这通常是杀鸡用牛刀。

一个常被忽视的杠杆是恢复时间。AWS 指出,可用性可以通过平均故障间隔时间(MTBF)和平均修复时间(MTTR)来估算。

MTBF 为 150 天、MTTR 为 1 小时,估算结果是 99.97%。靠运维手册(runbook)、良好的告警和自动回滚来缩短 MTTR,有时比多买机器更划算。

合同措辞和架构同样重要

同一个系统,两种不同的 SLA 定义方式可能得出截然不同的结果。首先要看的是计划内维护。有些客户选择把它从总时间中剔除,但 AWS 明确表示不建议这样做,因为用户在这些时段里仍然想用服务。

实用建议:如果客户主动提出豁免,你能多一些余量。但不要围绕这一条来设计系统。如果每月维护需要停机一小时,那是架构问题,不是合同问题。

第二点是计量单位。AWS 建议,对很多服务而言,统计成功请求占全部有效请求的比例,比衡量“可用时间”更容易,通常以 1 分钟或 5 分钟为窗口。这更能反映用户体验,但你必须和客户约定好什么算有效请求、什么算失败。

这十分钟里的五个步骤

回到那场会议。第一步,把客户要的数字换算成每天和每月的分钟数,并大声说出来,让全场都听明白。第二步,在白板上画出硬依赖链,包括客户自己的组件,比如他们的登录系统。

第三步,把串联可用性相乘,找出薄弱环节,然后恰好在那里提出冗余方案。第四步,问客户更怕停机还是更怕丢数据,以此在热备和冷备之间做选择,并决定如何复制。最后一步,在同意数字之前,把计量定义白纸黑字写下来。

常见错误

最常见的错误,是只按自己写的那部分的可用性做承诺,忘了依赖。第二个错误,是把某个组件复制一份就相信 99.9999% 这个数字,却不检查两个副本是否真正独立。第三个错误,是故障切换只停留在纸面上,从没测过实际切换时间。

如果你正准备应聘 FDE 岗位,可以留意职位描述里的“own production deployments”或“customer-facing SLAs”之类的表述。在简历上,“为三组件系统重新计算 SLA,为数据库增加热备,实测故障切换不到一分钟”这样一句话,远比“具备高可用经验”更有说服力。

本周练习:挑一个你在运行的系统,画出它的依赖链,乘出整体可用性,然后问问自己:敢不敢为它签 99.9%?如果答案是否定的,你就清楚该修哪一环了。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 5: 部署上线客户改了一个字段名,你的集成悄无声息地失效用纯 Python 写 mock 服务器和契约测试,一个下午就能赶在周末营收报表归零前发现变更。