平均延迟 167ms,上线当天 p95 却可能是两秒
在笔记本上用 k6 设阈值、找延迟拐点,再安全地加缓存,不在用户间串数据。
要点速览
- 目标用 p95 和每秒请求数来定,不要用平均延迟。
- k6 阈值被突破时退出码非零,因此负载测试可以充当 CI/CD 中的门禁。
- 缓存是首选手段,但个性化响应必须标记为 private。
设想有 100 个请求打到一个 API 上:94 个在 50ms 内返回,6 个耗时 2000ms。平均值是 167ms,低于 200ms 的阈值,发给客户的报告会写“通过”。但同一组数据的 p95 是 2000ms:每 100 个用户中有 6 个要等两秒。
Google 的 SRE 书把“大多数请求都接近平均值”的想法称为一厢情愿。对前线部署工程师(FDE)来说,这在上线前一周就不再是理论:客户需要知道系统能否扛过上线当天,而用数字回答这个问题的人是你。
本指南介绍一套能在笔记本上跑完的流程。你将编写带通过/失败阈值的负载测试脚本,把它作为流水线中的门禁运行,逐级加压找到 p95 开始上翘的位置,再在不让用户之间串数据的前提下加上缓存。
开始前需要准备什么?
你需要安装好 k6,准备一个 API 的预发环境(不要对客户的生产环境施压),能查看预发环境中 CPU、内存和数据库的监控面板,以及 curl。
如果客户团队更熟悉 Postman,Postman 也能让多个虚拟用户并行执行一串请求,并对平均值、p90、p95 或 p99 设置通过条件。下文的思路对两种工具都适用。
比工具更重要的是和客户的一次简短沟通。你需要两个数字:目标负载和可接受的延迟。
第 1 步:用每秒请求数和 p95 确定目标
Grafana Labs 的 API 负载测试指南指出,负载通常以请求速率表示,即每秒或每分钟的请求数。所以不要问客户“你们有多少用户?”,而要问“高峰期这个端点每秒有多少请求?”用户数需要换算,每秒请求数可以直接测量。
延迟方面,Grafana 给出的标准写法是:95% 的请求必须在 200ms 内完成。目标就按这个格式写。
如果你的 API 由一个扇出到多个后端的前端调用,就要定得更严:Google 的 SRE 书提醒,后端的 p99 很容易变成前端的中位延迟,因为一个页面调用多个后端时,经常会碰上至少一个慢请求。
本步检查:你有一行可以写进测试计划的话,例如“端点 /orders,每秒 500 个请求,p95 低于 200ms,错误率低于 1%”(这里的负载数字是假设的),并且客户已经同意。
第 2 步:把目标转成 k6 阈值
k6 用阈值(threshold)表达通过/失败标准。k6 文档介绍了通过 http_req_failed 指标评估 HTTP 错误率的阈值,以及 abortOnFail 属性:设为 true 后,阈值一被突破测试就立即停止。
下面的脚本是精简版:为便于阅读使用了固定数量的虚拟用户,URL 是假设的,语法请对照你所用 k6 版本的文档核实。
// load.js — 精简示例
import http from 'k6/http';
export const options = {
vus: 20,
duration: '2m',
thresholds: {
http_req_duration: [{ threshold: 'p(95)<200', abortOnFail: true }],
http_req_failed: ['rate<0.01'],
},
};
export default function () {
http.get('https://staging.example.com/api/orders');
}
系统明显已经出问题时,abortOnFail 值得开启:没必要等满两分钟才发现 p95 已飙到好几秒。在延迟阈值之外同时设置错误率阈值同样重要,因为一个飞快返回 500 错误的 API,p95 照样很漂亮。
VU 不等于每秒请求数
第 1 步用每秒请求数确定了目标,脚本里声明的却是 20 个虚拟用户(VU)。两者之间是简单的算术关系:每个 VU 不停循环,所以吞吐量约等于 VU 数除以一次迭代的耗时。20 个 VU、每个请求 50ms,理论上约为每秒 400 个请求。
陷阱在反方向。系统变慢、每个请求耗时 200ms 时,同样 20 个 VU 只能产生约每秒 100 个请求:测试恰恰在系统最弱的时候减轻了负载,p95 看起来比实际情况好看。
因此,这个换算只用来估算起始 VU 数。每次运行后,把实际达到的每秒请求数与测试计划中的目标对比;如果没达到,就增加 VU 再跑,直到达标为止。
第 3 步:运行,让退出码说了算
k6 run load.js
echo $?
Grafana Labs 强调,测试失败时 k6 CLI 会返回非零退出码,这是自动化的前提。你可以把这条命令放进 CI/CD 流水线的部署步骤之前:阈值一旦被突破,流水线变红,构建不会发布。
本步检查:故意把阈值调低到 p(95)<1 再跑一次。如果 echo $? 仍然输出 0,说明你的门禁什么都拦不住。
第 4 步:逐级加压,再做尖峰测试
在固定负载下跑一次,只能说明系统在某一个负载级别下没问题。上线当天通常是另一番景象:客户发出公告邮件或打开某个功能时,负载会突然激增。Grafana 按目的划分测试类型,其中尖峰测试(spike test)用来观察系统如何应对突然的大幅流量激增。
最简单的做法不需要新配置:修改 load.js 中的 vus,在每个级别重新运行,每次记录实际达到的每秒请求数、p95 和错误率。这是为便于理解而简化的手动逐级加压。下表是某个端点的假设示例数字,用来展示你要找的曲线长什么样。
| 负载级别 | 实际每秒请求数 | p95 | 错误率 |
|---|---|---|---|
| 10 个 VU | 180 | 60ms | 0% |
| 20 个 VU | 350 | 75ms | 0% |
| 40 个 VU | 600 | 140ms | 0% |
| 60 个 VU | 640 | 380ms | 0.2% |
| 80 个 VU | 610 | 900ms | 3% |
用 Google SRE 提出的四个黄金信号来读这张表:延迟、流量、错误和饱和度。从 40 到 60 个 VU,流量几乎不动,维持在每秒 600–640 个请求左右,p95 却涨了近三倍,错误只是略有上升。SRE 书指出,延迟上升往往是饱和的先行指标,这里正是这种情形。
这个假设端点的真实上限约为每秒 600–640 个请求,而不是错误开始溢出的 80 个 VU。看到 p95 上翘时,打开预发环境的监控面板,找出即将耗尽的资源:CPU、数据库连接池或某个队列。k6 只能提供前三个信号。
做尖峰测试时,先在 10 个 VU 保持基线,然后直接跳到客户预期峰值数倍的级别,而不是逐步加压。要回答的问题是:系统会大量报错,还是只是变慢之后再恢复。
第 5 步:加缓存,再跑一遍
读接口的 p95 超出阈值时,缓存通常是第一个手段。Nordic APIs 的解释很简单:把响应放进缓存,可以避免不必要的数据库查询。但在客户项目里加缓存,有一个数据陷阱。
MDN 写得很明确:如果响应包含个性化内容,并且你希望它只存入私有缓存,就必须指定 private 指令。没有它,CDN 或代理这类共享缓存可能把一个人的订单返回给另一个人。检查当前的响应头:
curl -I https://staging.example.com/api/orders
第二层是用 ETag 做重新验证。根据 MDN,当服务器为资源计算出的 ETag 与请求中的 If-None-Match 值一致时,服务器返回 304 Not Modified,无需再次发送完整响应体。把上一条命令拿到的 ETag 复制到下面的占位符中试试:
curl -I -H 'If-None-Match: "<刚收到的-etag>"' https://staging.example.com/api/orders
本步检查:个性化响应带有 private,带 If-None-Match 的请求得到 304,并且重跑第 4 步的各负载级别后,p95 上翘的位置右移。注意,反复请求同一个 URL 的 k6 脚本,缓存命中率会高于真实流量;想要真实的数字,就要变换参数。
常见错误
最常见的错误是报告平均延迟,就像开头 167ms 的例子。第二是只设延迟阈值,忘了错误率。第三是报告 VU 数而不是实际达到的每秒请求数,而固定 VU 会在系统变慢时减轻负载。
第四是在共享环境里做负载测试却没告知客户团队,让其他人以为系统宕机了。第五是开启缓存后才测量,却没保留之前的结果表,无法证明改善了多少。
如何把这项技能带到客户现场?
设想客户的 CTO 问:“如果明天向所有分支机构开放,系统扛得住吗?”你能给出的最有说服力的回答,是一份以每秒请求数定目标的测试计划、一个放在流水线里的脚本,以及一张加缓存前后各负载级别下 p95 的对比表。
如果你正准备转型做 FDE,可以留意岗位描述中的“production readiness”“performance”或“go-live support”等字眼。简历上不要写“有负载测试经验”,而是写一句具体的话:“在 k6 中设置 p95 和错误率阈值,作为部署前的 CI 门禁;通过逐级加压和尖峰测试找到负载上限;用 Cache-Control 和 ETag 降低 p95”。
上线当天,客户不会问你平均值。他们只关心有没有人在等。
这篇文章对你有帮助吗?
感谢你的反馈!
6 个信源
- API load testing: A beginner's guide (Grafana Labs) · 2024-01-31
- Thresholds | Grafana k6 documentation
- Monitoring Distributed Systems (Google SRE Book)
- Simulate user traffic to test your API performance (Postman Docs)
- 10 Tips for Improving API Performance (Nordic APIs) · 2023-11-08
- HTTP caching (MDN Web Docs)