# 99.9% 的 SLA，每天只给你 86 秒停机时间

> 数据库、第三方 API 和两分钟的故障切换层层相乘，这个看似稳妥的承诺就开始松动。

原文: https://fdetimes.net/zh/guides/sla-99-9-downtime-budget-failover/

会议快结束时，客户的采购负责人问：“你们能承诺 99.9% 吗？”所有人都看向你，因为系统是你搭的。你可以马上点头，毕竟这个数字听起来相当稳妥；也可以要十分钟，先把账算清楚。

对前线部署工程师（FDE）来说，这正是技术能力变成合同承诺的时刻。点头点错了，团队要用一个个值班的夜晚来买单，客户也会失去信任。数字算对了，你就清楚架构需要什么，或者合同里哪句措辞必须改。

本文带你走完这十分钟：把百分比换算成分钟，沿依赖链把可用性相乘，再决定故障切换和复制该放在哪里。

## 99.9% 其实是每月 43 分钟

AWS 把可用性定义为：在一个周期（如一个月或一年）内，工作负载可用时间占总时间的比例。所以第一件事，是把百分比换算成大家听得懂的单位。

根据 uptime.is 的计算器，99.9% 对应每月约 43 分 50 秒、每年 8 小时 45 分 57 秒的停机时间。再细分下去，每周约 10 分 5 秒，每天只有 1 分 26 秒。

最值得记住的是每天这个数字。一次部署让服务重启两分钟，就用光了一整天的预算。Google SRE 把它称为错误预算（error budget）：一个客观衡量服务可以容忍多少不可靠的指标。预算必须提前规划，有意识地花。

了解 99.9% 在整个刻度上的位置也有帮助。AWS 把这一级别对应到知识管理、项目跟踪这类内部工具，而电商和销售终端系统对应的是 99.95%。

如果一个在做支付系统的客户只要求 99.9%，这就是一个信号：需要确认对方真正的预期是什么。

## 依赖链如何侵蚀承诺？

假设你要为客户部署一个内部文档搜索工具。最小配置是一台应用服务器加一个数据库，各自跑在单台机器上，可用性都是 99.9%。每个请求都必须经过这两者，所以它们是串联的两个硬依赖。

串联系统的可用性等于各组件可用性的乘积。System Design Primer 算过：两个 99.9% 的组件串联，只剩 99.8%。继续算下去，停机预算翻倍，达到每月约 1 小时 27 分。你什么都还没加，承诺就已经破了。

链条越长，情况越糟。AWS 举的例子是三个 99.99% 的组件串联后降到 99.97%。实际中，你的链条还包括 DNS、负载均衡器、客户的身份认证服务，可能还有一个第三方 API。每一环都要算进乘法里。

解决办法是相互独立的冗余。据 AWS 介绍，两个各为 99.9% 的独立组件并联运行，有效可用性可达 99.9999%，因为只有两者同时故障，系统才会故障。

| 方案 | 估算可用性 | 每月停机时间（估算） |
|---|---|---|
| 1 个应用 + 1 个数据库 | 99.8% | 约 1 小时 27 分 |
| 1 个应用 + 2 个并联数据库 | 约 99.8999% | 约 43 分 53 秒 |
| 2 个并联应用 + 2 个并联数据库 | 约 99.9998% | 几秒 |

中间那一行是最关键的教训。只把数据库加倍还不够，因为单台 99.9% 的应用服务器仍会把整个系统拉到承诺线以下一点。最弱的单点组件决定了你的数字。

**要点:** 只有把所有依赖的可用性都乘进去之后，SLA 承诺才站得住。

最后一行不要照单全收。这个计算假设两个副本相互独立地发生故障，且切换是瞬时的。放在同一个机架、打着同一批补丁的两个数据库并不独立。切换是否瞬时，则取决于你如何做故障切换。

## 故障切换和复制能换来什么，又要付出什么？

System Design Primer 把故障切换（failover）和复制（replication）描述为实现高可用的两种互补模式。故障切换决定节点宕机后由谁来承接流量；复制决定接替的节点有没有最新数据。

在主备（active-passive）架构中，两台机器互相发送心跳。心跳一停，备机就接管主机的 IP 地址继续提供服务。切换期间的停机时长取决于备机是已在运行的热备，还是需要从头启动的冷备。

到这里，每天的预算就变得很具体了。一个要花几分钟才能起来的冷备，每次事故都会烧掉超过一天的预算。在架构文档里写下“有故障切换”之前，先测一测它实际要多久。

故障切换还有其他代价。它需要额外的硬件，增加复杂度；如果主机在新写入复制到备机之前就故障，还可能丢数据。对于记录订单或档案的客户来说，丢几秒数据可能比停机几分钟更糟，所以要问清楚他们更怕哪一种。

最极端的是 Microsoft 介绍的 Geode 模式：跨多个地理区域做双活部署，依靠数据复制扛住整个区域的失效。对于一个内部工具的 99.9% 承诺，这通常是杀鸡用牛刀。

一个常被忽视的杠杆是恢复时间。AWS 指出，可用性可以通过平均故障间隔时间（MTBF）和平均修复时间（MTTR）来估算。

MTBF 为 150 天、MTTR 为 1 小时，估算结果是 99.97%。靠运维手册（runbook）、良好的告警和自动回滚来缩短 MTTR，有时比多买机器更划算。

## 合同措辞和架构同样重要

同一个系统，两种不同的 SLA 定义方式可能得出截然不同的结果。首先要看的是计划内维护。有些客户选择把它从总时间中剔除，但 AWS 明确表示不建议这样做，因为用户在这些时段里仍然想用服务。

实用建议：如果客户主动提出豁免，你能多一些余量。但不要围绕这一条来设计系统。如果每月维护需要停机一小时，那是架构问题，不是合同问题。

第二点是计量单位。AWS 建议，对很多服务而言，统计成功请求占全部有效请求的比例，比衡量“可用时间”更容易，通常以 1 分钟或 5 分钟为窗口。这更能反映用户体验，但你必须和客户约定好什么算有效请求、什么算失败。

## 这十分钟里的五个步骤

回到那场会议。第一步，把客户要的数字换算成每天和每月的分钟数，并大声说出来，让全场都听明白。第二步，在白板上画出硬依赖链，包括客户自己的组件，比如他们的登录系统。

第三步，把串联可用性相乘，找出薄弱环节，然后恰好在那里提出冗余方案。第四步，问客户更怕停机还是更怕丢数据，以此在热备和冷备之间做选择，并决定如何复制。最后一步，在同意数字之前，把计量定义白纸黑字写下来。

## 常见错误

最常见的错误，是只按自己写的那部分的可用性做承诺，忘了依赖。第二个错误，是把某个组件复制一份就相信 99.9999% 这个数字，却不检查两个副本是否真正独立。第三个错误，是故障切换只停留在纸面上，从没测过实际切换时间。

如果你正准备应聘 FDE 岗位，可以留意职位描述里的“own production deployments”或“customer-facing SLAs”之类的表述。在简历上，“为三组件系统重新计算 SLA，为数据库增加热备，实测故障切换不到一分钟”这样一句话，远比“具备高可用经验”更有说服力。

本周练习：挑一个你在运行的系统，画出它的依赖链，乘出整体可用性，然后问问自己：敢不敢为它签 99.9%？如果答案是否定的，你就清楚该修哪一环了。

**本周动手试试:**

- 画出你所运行系统的硬依赖链，标出每个组件的可用性，并乘出整体数值。
- 在预发布（staging）环境中实测数据库或负载均衡器的真实故障切换时间，并与每天 1 分 26 秒的预算对比。
- 写一份半页纸的 SLA 定义：按时间还是按请求计量、计量窗口多长、是否剔除计划内维护。

## 信源

- [SLA & Uptime calculator: How much downtime corresponds to 99.9 % uptime](https://uptime.is/)

- [Availability - AWS Well-Architected Framework (Reliability Pillar)](https://docs.aws.amazon.com/wellarchitected/latest/reliability-pillar/availability.html)

- [system-design-primer (Fail-over section)](https://github.com/donnemartin/system-design-primer?tab=readme-ov-file#fail-over)

- [Active-Passive vs. Active-Active Failover (Serverion)](https://www.serverion.com/uncategorized/active-passive-vs-active-active-failover/)

- [Google SRE Book: Embracing Risk](https://sre.google/sre-book/embracing-risk/)

- [Architecture design patterns that support reliability - Microsoft Azure Well-Architected Framework](https://learn.microsoft.com/en-us/azure/architecture/framework/resiliency/reliability-patterns)
