99.9% 的 SLA,每天只给你 86 秒停机时间
数据库、第三方 API 和两分钟的故障切换层层相乘,这个看似稳妥的承诺就开始松动。
要点速览
- 99.9% 每天只允许约 1 分 26 秒停机,每月 43 分 50 秒。
- 串联的组件会拉低可用性;要把它拉回来,需要通过故障切换和复制实现相互独立的冗余。
- 故障切换有代价:切换耗时、额外的复杂度,以及可能丢失尚未复制的数据。
会议快结束时,客户的采购负责人问:“你们能承诺 99.9% 吗?”所有人都看向你,因为系统是你搭的。你可以马上点头,毕竟这个数字听起来相当稳妥;也可以要十分钟,先把账算清楚。
对前线部署工程师(FDE)来说,这正是技术能力变成合同承诺的时刻。点头点错了,团队要用一个个值班的夜晚来买单,客户也会失去信任。数字算对了,你就清楚架构需要什么,或者合同里哪句措辞必须改。
本文带你走完这十分钟:把百分比换算成分钟,沿依赖链把可用性相乘,再决定故障切换和复制该放在哪里。
99.9% 其实是每月 43 分钟
AWS 把可用性定义为:在一个周期(如一个月或一年)内,工作负载可用时间占总时间的比例。所以第一件事,是把百分比换算成大家听得懂的单位。
根据 uptime.is 的计算器,99.9% 对应每月约 43 分 50 秒、每年 8 小时 45 分 57 秒的停机时间。再细分下去,每周约 10 分 5 秒,每天只有 1 分 26 秒。
最值得记住的是每天这个数字。一次部署让服务重启两分钟,就用光了一整天的预算。Google SRE 把它称为错误预算(error budget):一个客观衡量服务可以容忍多少不可靠的指标。预算必须提前规划,有意识地花。
了解 99.9% 在整个刻度上的位置也有帮助。AWS 把这一级别对应到知识管理、项目跟踪这类内部工具,而电商和销售终端系统对应的是 99.95%。
如果一个在做支付系统的客户只要求 99.9%,这就是一个信号:需要确认对方真正的预期是什么。
依赖链如何侵蚀承诺?
假设你要为客户部署一个内部文档搜索工具。最小配置是一台应用服务器加一个数据库,各自跑在单台机器上,可用性都是 99.9%。每个请求都必须经过这两者,所以它们是串联的两个硬依赖。
串联系统的可用性等于各组件可用性的乘积。System Design Primer 算过:两个 99.9% 的组件串联,只剩 99.8%。继续算下去,停机预算翻倍,达到每月约 1 小时 27 分。你什么都还没加,承诺就已经破了。
链条越长,情况越糟。AWS 举的例子是三个 99.99% 的组件串联后降到 99.97%。实际中,你的链条还包括 DNS、负载均衡器、客户的身份认证服务,可能还有一个第三方 API。每一环都要算进乘法里。
解决办法是相互独立的冗余。据 AWS 介绍,两个各为 99.9% 的独立组件并联运行,有效可用性可达 99.9999%,因为只有两者同时故障,系统才会故障。
| 方案 | 估算可用性 | 每月停机时间(估算) |
|---|---|---|
| 1 个应用 + 1 个数据库 | 99.8% | 约 1 小时 27 分 |
| 1 个应用 + 2 个并联数据库 | 约 99.8999% | 约 43 分 53 秒 |
| 2 个并联应用 + 2 个并联数据库 | 约 99.9998% | 几秒 |
中间那一行是最关键的教训。只把数据库加倍还不够,因为单台 99.9% 的应用服务器仍会把整个系统拉到承诺线以下一点。最弱的单点组件决定了你的数字。
最后一行不要照单全收。这个计算假设两个副本相互独立地发生故障,且切换是瞬时的。放在同一个机架、打着同一批补丁的两个数据库并不独立。切换是否瞬时,则取决于你如何做故障切换。
故障切换和复制能换来什么,又要付出什么?
System Design Primer 把故障切换(failover)和复制(replication)描述为实现高可用的两种互补模式。故障切换决定节点宕机后由谁来承接流量;复制决定接替的节点有没有最新数据。
在主备(active-passive)架构中,两台机器互相发送心跳。心跳一停,备机就接管主机的 IP 地址继续提供服务。切换期间的停机时长取决于备机是已在运行的热备,还是需要从头启动的冷备。
到这里,每天的预算就变得很具体了。一个要花几分钟才能起来的冷备,每次事故都会烧掉超过一天的预算。在架构文档里写下“有故障切换”之前,先测一测它实际要多久。
故障切换还有其他代价。它需要额外的硬件,增加复杂度;如果主机在新写入复制到备机之前就故障,还可能丢数据。对于记录订单或档案的客户来说,丢几秒数据可能比停机几分钟更糟,所以要问清楚他们更怕哪一种。
主备(Active-passive)
- 更简单、更便宜
- 切换期间可能有短暂中断
- 适合大多数 99.9% 的内部工具
双活(Active-active)
- 更复杂、更昂贵
- 两个节点都承接流量
- 适合高负载系统,或必须扛住整个区域故障的系统
最极端的是 Microsoft 介绍的 Geode 模式:跨多个地理区域做双活部署,依靠数据复制扛住整个区域的失效。对于一个内部工具的 99.9% 承诺,这通常是杀鸡用牛刀。
一个常被忽视的杠杆是恢复时间。AWS 指出,可用性可以通过平均故障间隔时间(MTBF)和平均修复时间(MTTR)来估算。
MTBF 为 150 天、MTTR 为 1 小时,估算结果是 99.97%。靠运维手册(runbook)、良好的告警和自动回滚来缩短 MTTR,有时比多买机器更划算。
合同措辞和架构同样重要
同一个系统,两种不同的 SLA 定义方式可能得出截然不同的结果。首先要看的是计划内维护。有些客户选择把它从总时间中剔除,但 AWS 明确表示不建议这样做,因为用户在这些时段里仍然想用服务。
实用建议:如果客户主动提出豁免,你能多一些余量。但不要围绕这一条来设计系统。如果每月维护需要停机一小时,那是架构问题,不是合同问题。
第二点是计量单位。AWS 建议,对很多服务而言,统计成功请求占全部有效请求的比例,比衡量“可用时间”更容易,通常以 1 分钟或 5 分钟为窗口。这更能反映用户体验,但你必须和客户约定好什么算有效请求、什么算失败。
这十分钟里的五个步骤
回到那场会议。第一步,把客户要的数字换算成每天和每月的分钟数,并大声说出来,让全场都听明白。第二步,在白板上画出硬依赖链,包括客户自己的组件,比如他们的登录系统。
第三步,把串联可用性相乘,找出薄弱环节,然后恰好在那里提出冗余方案。第四步,问客户更怕停机还是更怕丢数据,以此在热备和冷备之间做选择,并决定如何复制。最后一步,在同意数字之前,把计量定义白纸黑字写下来。
常见错误
最常见的错误,是只按自己写的那部分的可用性做承诺,忘了依赖。第二个错误,是把某个组件复制一份就相信 99.9999% 这个数字,却不检查两个副本是否真正独立。第三个错误,是故障切换只停留在纸面上,从没测过实际切换时间。
如果你正准备应聘 FDE 岗位,可以留意职位描述里的“own production deployments”或“customer-facing SLAs”之类的表述。在简历上,“为三组件系统重新计算 SLA,为数据库增加热备,实测故障切换不到一分钟”这样一句话,远比“具备高可用经验”更有说服力。
本周练习:挑一个你在运行的系统,画出它的依赖链,乘出整体可用性,然后问问自己:敢不敢为它签 99.9%?如果答案是否定的,你就清楚该修哪一环了。
这篇文章对你有帮助吗?
感谢你的反馈!
6 个信源
- SLA & Uptime calculator: How much downtime corresponds to 99.9 % uptime
- Availability - AWS Well-Architected Framework (Reliability Pillar)
- system-design-primer (Fail-over section)
- Active-Passive vs. Active-Active Failover (Serverion) · 2025-11-08
- Google SRE Book: Embracing Risk · 2017
- Architecture design patterns that support reliability - Microsoft Azure Well-Architected Framework · 2024-10-10