客户问 p99,别再答“跑得挺快”
延迟、吞吐量和可扩展性都要用数字回答,可接受的延迟阈值由客户来定,不由你定。
要点速览
- 基础设施团队谈的是百分位数和每秒请求数,不是平均值,也不是“挺快”的感觉。
- 单个用户就慢,是性能问题;单个用户很快、高负载下才慢,是可扩展性问题。
- 规模大了以后,少数异常慢的请求就能左右整个服务,所以尾部要单独度量、单独设计。
你刚在客户那里部署完一套发票数据抽取服务。评审会上,对方基础设施团队的负责人问了两个问题:“p99 是多少?一个实例每秒能处理多少请求?”你回答说,测试时感觉跑得挺快。会议室安静了片刻,你意识到自己已经被归进了“没做过测量的供应商团队”。
这种场面,前线部署工程师(FDE)遇到的次数比想象中多。写出能跑的代码,是你熟悉的部分;让将来要为这套系统值班的人相信它在高峰期不会崩,是另一种能力。要做到这一点,得把三个词用对(延迟、吞吐量、可扩展性),而且每个词后面都要跟一个数字。
三个词,三个不同的问题
延迟是系统响应一个请求所需的时间。吞吐量是系统同时能处理多少请求,实践中通常用每秒请求数表示。cs.fyi 上的系统设计入门指南指出,在大多数系统里,这两者此消彼长:堆上更多工作,每份工作通常就要等得更久。
既然存在取舍,就必须有目标。Jonas Bonér 在关于可扩展性模式的幻灯片中,把目标定为:在可接受的延迟下实现最大吞吐量。什么算“可接受”,由客户决定,而不是你。所以面对基础设施团队,第一个问题应该是问清他们的延迟阈值,而不是急着展示自己的数字。
第三个词是可扩展性,它最容易和性能混为一谈。Professor Beekums 博客上的一篇文章把两者分得很清楚:可扩展性是应对大量的用户、数据或流量,性能关乎速度。
作者用收银台打比方:可扩展性就是无论顾客蜂拥而至还是零零星星,服务速度都保持不变。
Amazon CTO Werner Vogels 的定义更严格:如果增加资源能带来性能提升,这个服务就是可扩展的。对于需要持续在线的服务,他还加了一个条件:为冗余而增加的资源不能降低性能。
Vogels 还明确指出,“性能提升”有两层含义。通常指能处理更多单位的工作,但也可以指能处理更大单位的工作。做负载测试时,人们往往只记得第一层,忘了第二层。
单个用户就慢,还是只在高负载下慢?
Bonér 给出了一个马上就能用的判断方法:如果系统对单个用户也慢,那是性能问题;如果对单个用户很快、高负载下才慢,那是可扩展性问题。两者的修法不同,诊断错了,投入的功夫就白费了。
假设没有其他人使用时,你的发票服务处理一个请求要 4 秒。加服务器没用,因为每个请求依然要 4 秒。你需要打开链路追踪,看时间花在 OCR、模型调用还是数据库查询上。只有当单个用户觉得快了,才轮到讨论负载。
一次完整的测量,分步来
假设服务对单个用户已经很快。下一步是向单个副本施加逐步递增的负载,记录延迟分布,而不只是平均值。下面这个脚本足够完成第一轮测试:
import asyncio, time, statistics, httpx
async def one(client, url, payload, out):
t = time.perf_counter()
await client.post(url, json=payload, timeout=60)
out.append(time.perf_counter() - t)
async def run(url, payload, concurrency, total=200):
lat, sem = [], asyncio.Semaphore(concurrency)
async with httpx.AsyncClient() as c:
async def task():
async with sem:
await one(c, url, payload, lat)
start = time.perf_counter()
await asyncio.gather(*[task() for _ in range(total)])
wall = time.perf_counter() - start
q = statistics.quantiles(lat, n=100)
print(concurrency, round(q[49], 2), round(q[98], 2), round(total / wall, 1))
对一个副本分别以并发 1、4、8、16 运行脚本。然后在负载均衡器后面加第二个副本,把脚本指向负载均衡器,以 16 个并发请求再跑一次,大约每个副本 8 个。下表是示意结果,并非真实测量,但这种形态你会反复见到:
| 副本数 | 并发请求数 | p50(秒) | p99(秒) | 每秒请求数 |
|---|---|---|---|---|
| 1 | 1 | 1.2 | 1.5 | 0.8 |
| 1 | 4 | 1.3 | 1.9 | 3.0 |
| 1 | 8 | 1.6 | 3.8 | 5.0 |
| 1 | 16 | 3.2 | 9.5 | 5.0 |
| 2 | 16 | 1.6 | 3.9 | 9.5 |
读法如下。并发从 1 增加到 8,吞吐量上升,p50 只略有上涨,不过 p99 已经开始拉长,从 1.5 秒到 3.8 秒。并发从 8 增加到 16,吞吐量停在每秒 5 个请求,p50 翻倍,p99 跳到 9.5 秒。副本已经饱和,多出来的请求只是在排队。
最后一行正是 Vogels 定义的可扩展性测试。同样是 16 个并发请求,换成 2 个副本后,吞吐量升到每秒 9.5 个请求,接近翻倍,p50 和 p99 也回到单副本 8 并发时的水平。增加资源带来了成比例的性能提升:这个服务可以扩展。
如果这一行显示的是每秒 6 个请求而不是接近 10 个,说明两个副本在争抢某个共享资源,可能是数据库,也可能是模型 API 的速率限制。这时在找到瓶颈之前,加第三个副本毫无意义。
假设客户把 p99 阈值定为 5 秒。你在会上的回答应该是:“一个副本每秒处理约 5 个请求,只要并发控制在 8 左右,p99 低于 4 秒。
两个副本在同样的 p99 下测得每秒 9.5 个请求,所以要达到每秒 20 个请求,我们估计需要 4 个副本,并会在 4 个副本下再测一次确认。”基础设施团队拿到这句话,就能直接用来做容量规划。
还应该测一张 50 页的发票,因为按照 Vogels 的说法,处理更大单位的工作同样是可扩展性的一个维度。
真正让人睡不着的是分布的尾部
表里用 p99 而不是平均值,是有原因的。Uwe Friedrichsen 在分析 Jeffrey Dean 和 Luiz Barroso 的《The Tail at Scale》时重申:在大规模场景下,延迟的临时尖峰可能左右整个服务的性能。
他还指出,服务越成功,受残留尾延迟的影响就越大。
简单算一下就明白了。假设一个用户请求需要并行调用 100 个子服务,每个子服务只有 1% 的时间异常慢。至少有一次调用变慢的概率是 1 − 0.99^100,约 63%。于是,每个组件的尾部,变成了整个系统的常态。
Friedrichsen 介绍了一种压低尾部的技术:对冲请求,即把同一个请求发给多个副本,采用最先返回的那个响应。
发送多个副本意味着增加负载,所以比较稳妥的做法是:第一个请求超过某个阈值(比如你测得的 p95)后,才发出副本请求。向基础设施团队提出这项技术时,也要事先说明它会带来多少百分比的额外负载。
让基础设施团队失去信任的错误
最常见的错误是报平均值。第二个是在笔记本上用单个用户测量,然后把结果称作“生产环境性能”,这混淆了性能和可扩展性。第三个是为了冗余加副本却不重新测试:按 Vogels 的标准,如果冗余让系统变慢,这个服务就还没达标。
还有一个更隐蔽的错误:给出吞吐量数字却不附延迟阈值。“每秒处理 5 个请求”,如果不说明这个负载下 p99 是多少,几乎没有意义,因为在 16 个并发请求时系统照样在“处理”负载,只是每个用户要等将近 10 秒。
如果你在争取 FDE 岗位,简历里写“对服务 X 做了负载测试和容量规划:每个副本 5 req/s,p99 低于 4 秒,随副本增加近似线性扩展”,远比“优化了系统性能”更有说服力。
当职位描述提到把系统推向生产环境,或与客户的基础设施团队合作时,带上一张像上面那样的测量表去面试。
下次客户的基础设施团队再问 p99,你不必背定义,只需打开一张几行的表,里面是你亲手测出的数字。
这篇文章对你有帮助吗?
感谢你的反馈!