# 客户问 p99，别再答“跑得挺快”

> 延迟、吞吐量和可扩展性都要用数字回答，可接受的延迟阈值由客户来定，不由你定。

原文: https://fdetimes.net/zh/guides/latency-throughput-scalability-with-numbers/

你刚在客户那里部署完一套发票数据抽取服务。评审会上，对方基础设施团队的负责人问了两个问题：“p99 是多少？一个实例每秒能处理多少请求？”你回答说，测试时感觉跑得挺快。会议室安静了片刻，你意识到自己已经被归进了“没做过测量的供应商团队”。

这种场面，前线部署工程师（FDE）遇到的次数比想象中多。写出能跑的代码，是你熟悉的部分；让将来要为这套系统值班的人相信它在高峰期不会崩，是另一种能力。要做到这一点，得把三个词用对（延迟、吞吐量、可扩展性），而且每个词后面都要跟一个数字。

## 三个词，三个不同的问题

延迟是系统响应一个请求所需的时间。吞吐量是系统同时能处理多少请求，实践中通常用每秒请求数表示。cs.fyi 上的系统设计入门指南指出，在大多数系统里，这两者此消彼长：堆上更多工作，每份工作通常就要等得更久。

既然存在取舍，就必须有目标。Jonas Bonér 在关于可扩展性模式的幻灯片中，把目标定为：在可接受的延迟下实现最大吞吐量。什么算“可接受”，由客户决定，而不是你。所以面对基础设施团队，第一个问题应该是问清他们的延迟阈值，而不是急着展示自己的数字。

第三个词是可扩展性，它最容易和性能混为一谈。Professor Beekums 博客上的一篇文章把两者分得很清楚：可扩展性是应对大量的用户、数据或流量，性能关乎速度。

作者用收银台打比方：可扩展性就是无论顾客蜂拥而至还是零零星星，服务速度都保持不变。

Amazon CTO Werner Vogels 的定义更严格：如果增加资源能带来性能提升，这个服务就是可扩展的。对于需要持续在线的服务，他还加了一个条件：为冗余而增加的资源不能降低性能。

Vogels 还明确指出，“性能提升”有两层含义。通常指能处理更多单位的工作，但也可以指能处理更大单位的工作。做负载测试时，人们往往只记得第一层，忘了第二层。

## 单个用户就慢，还是只在高负载下慢？

Bonér 给出了一个马上就能用的判断方法：如果系统对单个用户也慢，那是性能问题；如果对单个用户很快、高负载下才慢，那是可扩展性问题。两者的修法不同，诊断错了，投入的功夫就白费了。

假设没有其他人使用时，你的发票服务处理一个请求要 4 秒。加服务器没用，因为每个请求依然要 4 秒。你需要打开链路追踪，看时间花在 OCR、模型调用还是数据库查询上。只有当单个用户觉得快了，才轮到讨论负载。

## 一次完整的测量，分步来

假设服务对单个用户已经很快。下一步是向单个副本施加逐步递增的负载，记录延迟分布，而不只是平均值。下面这个脚本足够完成第一轮测试：

```python
import asyncio, time, statistics, httpx

async def one(client, url, payload, out):
    t = time.perf_counter()
    await client.post(url, json=payload, timeout=60)
    out.append(time.perf_counter() - t)

async def run(url, payload, concurrency, total=200):
    lat, sem = [], asyncio.Semaphore(concurrency)
    async with httpx.AsyncClient() as c:
        async def task():
            async with sem:
                await one(c, url, payload, lat)
        start = time.perf_counter()
        await asyncio.gather(*[task() for _ in range(total)])
        wall = time.perf_counter() - start
    q = statistics.quantiles(lat, n=100)
    print(concurrency, round(q[49], 2), round(q[98], 2), round(total / wall, 1))
```

对一个副本分别以并发 1、4、8、16 运行脚本。然后在负载均衡器后面加第二个副本，把脚本指向负载均衡器，以 16 个并发请求再跑一次，大约每个副本 8 个。下表是示意结果，并非真实测量，但这种形态你会反复见到：

| 副本数 | 并发请求数 | p50（秒） | p99（秒） | 每秒请求数 |
|---|---|---|---|---|
| 1 | 1 | 1.2 | 1.5 | 0.8 |
| 1 | 4 | 1.3 | 1.9 | 3.0 |
| 1 | 8 | 1.6 | 3.8 | 5.0 |
| 1 | 16 | 3.2 | 9.5 | 5.0 |
| 2 | 16 | 1.6 | 3.9 | 9.5 |

读法如下。并发从 1 增加到 8，吞吐量上升，p50 只略有上涨，不过 p99 已经开始拉长，从 1.5 秒到 3.8 秒。并发从 8 增加到 16，吞吐量停在每秒 5 个请求，p50 翻倍，p99 跳到 9.5 秒。副本已经饱和，多出来的请求只是在排队。

最后一行正是 Vogels 定义的可扩展性测试。同样是 16 个并发请求，换成 2 个副本后，吞吐量升到每秒 9.5 个请求，接近翻倍，p50 和 p99 也回到单副本 8 并发时的水平。增加资源带来了成比例的性能提升：这个服务可以扩展。

如果这一行显示的是每秒 6 个请求而不是接近 10 个，说明两个副本在争抢某个共享资源，可能是数据库，也可能是模型 API 的速率限制。这时在找到瓶颈之前，加第三个副本毫无意义。

假设客户把 p99 阈值定为 5 秒。你在会上的回答应该是：“一个副本每秒处理约 5 个请求，只要并发控制在 8 左右，p99 低于 4 秒。

两个副本在同样的 p99 下测得每秒 9.5 个请求，所以要达到每秒 20 个请求，我们估计需要 4 个副本，并会在 4 个副本下再测一次确认。”基础设施团队拿到这句话，就能直接用来做容量规划。

还应该测一张 50 页的发票，因为按照 Vogels 的说法，处理更大单位的工作同样是可扩展性的一个维度。

## 真正让人睡不着的是分布的尾部

表里用 p99 而不是平均值，是有原因的。Uwe Friedrichsen 在分析 Jeffrey Dean 和 Luiz Barroso 的《The Tail at Scale》时重申：在大规模场景下，延迟的临时尖峰可能左右整个服务的性能。

他还指出，服务越成功，受残留尾延迟的影响就越大。

简单算一下就明白了。假设一个用户请求需要并行调用 100 个子服务，每个子服务只有 1% 的时间异常慢。至少有一次调用变慢的概率是 1 − 0.99^100，约 63%。于是，每个组件的尾部，变成了整个系统的常态。

**要点:** 平均值只能说明典型用户的体验，而客户记住的，是系统最慢的那几次。

Friedrichsen 介绍了一种压低尾部的技术：对冲请求，即把同一个请求发给多个副本，采用最先返回的那个响应。

发送多个副本意味着增加负载，所以比较稳妥的做法是：第一个请求超过某个阈值（比如你测得的 p95）后，才发出副本请求。向基础设施团队提出这项技术时，也要事先说明它会带来多少百分比的额外负载。

## 让基础设施团队失去信任的错误

最常见的错误是报平均值。第二个是在笔记本上用单个用户测量，然后把结果称作“生产环境性能”，这混淆了性能和可扩展性。第三个是为了冗余加副本却不重新测试：按 Vogels 的标准，如果冗余让系统变慢，这个服务就还没达标。

还有一个更隐蔽的错误：给出吞吐量数字却不附延迟阈值。“每秒处理 5 个请求”，如果不说明这个负载下 p99 是多少，几乎没有意义，因为在 16 个并发请求时系统照样在“处理”负载，只是每个用户要等将近 10 秒。

如果你在争取 FDE 岗位，简历里写“对服务 X 做了负载测试和容量规划：每个副本 5 req/s，p99 低于 4 秒，随副本增加近似线性扩展”，远比“优化了系统性能”更有说服力。

当职位描述提到把系统推向生产环境，或与客户的基础设施团队合作时，带上一张像上面那样的测量表去面试。

下次客户的基础设施团队再问 p99，你不必背定义，只需打开一张几行的表，里面是你亲手测出的数字。

**本周动手试试:**

- 选一个你负责的接口，分别在 1、4、8、16 个并发请求下测量，把 p50、p99 和每秒请求数记成一张表。
- 根据这张表，写出一句且仅一句“一个副本每秒处理 X 个请求，p99 低于 Y 秒”形式的回答，发给一位基础设施同事听听反馈。
- 加一个副本再测一次，看吞吐量是否接近翻倍。

## 信源

- [A Word on Scalability (All Things Distributed)](https://www.allthingsdistributed.com/2006/03/a_word_on_scalability.html)

- [Performance Vs Scalability](https://blog.professorbeekums.com/performance-vs-scalability/)

- [System Design: Latency vs Throughput (cs.fyi)](https://cs.fyi/guide/latency-vs-throughput/)

- [Scalability, Availability & Stability Patterns (Jonas Bonér)](https://www.slideshare.net/jboner/scalability-availability-stability-patterns/)

- [The tail at scale (Uwe Friedrichsen)](https://ufried.com/blog/tail_at_scale/)
