# 平均延迟 167ms，上线当天 p95 却可能是两秒

> 在笔记本上用 k6 设阈值、找延迟拐点，再安全地加缓存，不在用户间串数据。

原文: https://fdetimes.net/zh/guides/load-test-api-k6-p95-caching/

设想有 100 个请求打到一个 API 上：94 个在 50ms 内返回，6 个耗时 2000ms。平均值是 167ms，低于 200ms 的阈值，发给客户的报告会写“通过”。但同一组数据的 p95 是 2000ms：每 100 个用户中有 6 个要等两秒。

Google 的 SRE 书把“大多数请求都接近平均值”的想法称为一厢情愿。对前线部署工程师（FDE）来说，这在上线前一周就不再是理论：客户需要知道系统能否扛过上线当天，而用数字回答这个问题的人是你。

本指南介绍一套能在笔记本上跑完的流程。你将编写带通过/失败阈值的负载测试脚本，把它作为流水线中的门禁运行，逐级加压找到 p95 开始上翘的位置，再在不让用户之间串数据的前提下加上缓存。

## 开始前需要准备什么？

你需要安装好 k6，准备一个 API 的预发环境（不要对客户的生产环境施压），能查看预发环境中 CPU、内存和数据库的监控面板，以及 curl。

如果客户团队更熟悉 Postman，Postman 也能让多个虚拟用户并行执行一串请求，并对平均值、p90、p95 或 p99 设置通过条件。下文的思路对两种工具都适用。

比工具更重要的是和客户的一次简短沟通。你需要两个数字：目标负载和可接受的延迟。

## 第 1 步：用每秒请求数和 p95 确定目标

Grafana Labs 的 API 负载测试指南指出，负载通常以请求速率表示，即每秒或每分钟的请求数。所以不要问客户“你们有多少用户？”，而要问“高峰期这个端点每秒有多少请求？”用户数需要换算，每秒请求数可以直接测量。

延迟方面，Grafana 给出的标准写法是：95% 的请求必须在 200ms 内完成。目标就按这个格式写。

如果你的 API 由一个扇出到多个后端的前端调用，就要定得更严：Google 的 SRE 书提醒，后端的 p99 很容易变成前端的中位延迟，因为一个页面调用多个后端时，经常会碰上至少一个慢请求。

本步检查：你有一行可以写进测试计划的话，例如“端点 /orders，每秒 500 个请求，p95 低于 200ms，错误率低于 1%”（这里的负载数字是假设的），并且客户已经同意。

## 第 2 步：把目标转成 k6 阈值

k6 用阈值（threshold）表达通过/失败标准。k6 文档介绍了通过 `http_req_failed` 指标评估 HTTP 错误率的阈值，以及 `abortOnFail` 属性：设为 `true` 后，阈值一被突破测试就立即停止。

下面的脚本是精简版：为便于阅读使用了固定数量的虚拟用户，URL 是假设的，语法请对照你所用 k6 版本的文档核实。

```javascript
// load.js — 精简示例
import http from 'k6/http';

export const options = {
  vus: 20,
  duration: '2m',
  thresholds: {
    http_req_duration: [{ threshold: 'p(95)<200', abortOnFail: true }],
    http_req_failed: ['rate<0.01'],
  },
};

export default function () {
  http.get('https://staging.example.com/api/orders');
}
```

系统明显已经出问题时，`abortOnFail` 值得开启：没必要等满两分钟才发现 p95 已飙到好几秒。在延迟阈值之外同时设置错误率阈值同样重要，因为一个飞快返回 500 错误的 API，p95 照样很漂亮。

## VU 不等于每秒请求数

第 1 步用每秒请求数确定了目标，脚本里声明的却是 20 个虚拟用户（VU）。两者之间是简单的算术关系：每个 VU 不停循环，所以吞吐量约等于 VU 数除以一次迭代的耗时。20 个 VU、每个请求 50ms，理论上约为每秒 400 个请求。

陷阱在反方向。系统变慢、每个请求耗时 200ms 时，同样 20 个 VU 只能产生约每秒 100 个请求：测试恰恰在系统最弱的时候减轻了负载，p95 看起来比实际情况好看。

因此，这个换算只用来估算起始 VU 数。每次运行后，把实际达到的每秒请求数与测试计划中的目标对比；如果没达到，就增加 VU 再跑，直到达标为止。

## 第 3 步：运行，让退出码说了算

```bash
k6 run load.js
echo $?
```

Grafana Labs 强调，测试失败时 k6 CLI 会返回非零退出码，这是自动化的前提。你可以把这条命令放进 CI/CD 流水线的部署步骤之前：阈值一旦被突破，流水线变红，构建不会发布。

本步检查：故意把阈值调低到 `p(95)<1` 再跑一次。如果 `echo $?` 仍然输出 0，说明你的门禁什么都拦不住。

## 第 4 步：逐级加压，再做尖峰测试

在固定负载下跑一次，只能说明系统在某一个负载级别下没问题。上线当天通常是另一番景象：客户发出公告邮件或打开某个功能时，负载会突然激增。Grafana 按目的划分测试类型，其中尖峰测试（spike test）用来观察系统如何应对突然的大幅流量激增。

最简单的做法不需要新配置：修改 `load.js` 中的 `vus`，在每个级别重新运行，每次记录实际达到的每秒请求数、p95 和错误率。这是为便于理解而简化的手动逐级加压。下表是某个端点的假设示例数字，用来展示你要找的曲线长什么样。

| 负载级别 | 实际每秒请求数 | p95 | 错误率 |
|---|---|---|---|
| 10 个 VU | 180 | 60ms | 0% |
| 20 个 VU | 350 | 75ms | 0% |
| 40 个 VU | 600 | 140ms | 0% |
| 60 个 VU | 640 | 380ms | 0.2% |
| 80 个 VU | 610 | 900ms | 3% |

用 Google SRE 提出的四个黄金信号来读这张表：延迟、流量、错误和饱和度。从 40 到 60 个 VU，流量几乎不动，维持在每秒 600–640 个请求左右，p95 却涨了近三倍，错误只是略有上升。SRE 书指出，延迟上升往往是饱和的先行指标，这里正是这种情形。

这个假设端点的真实上限约为每秒 600–640 个请求，而不是错误开始溢出的 80 个 VU。看到 p95 上翘时，打开预发环境的监控面板，找出即将耗尽的资源：CPU、数据库连接池或某个队列。k6 只能提供前三个信号。

做尖峰测试时，先在 10 个 VU 保持基线，然后直接跳到客户预期峰值数倍的级别，而不是逐步加压。要回答的问题是：系统会大量报错，还是只是变慢之后再恢复。

**要点:** 平均延迟再好看，也帮不了长尾里的那些用户。

## 第 5 步：加缓存，再跑一遍

读接口的 p95 超出阈值时，缓存通常是第一个手段。Nordic APIs 的解释很简单：把响应放进缓存，可以避免不必要的数据库查询。但在客户项目里加缓存，有一个数据陷阱。

MDN 写得很明确：如果响应包含个性化内容，并且你希望它只存入私有缓存，就必须指定 `private` 指令。没有它，CDN 或代理这类共享缓存可能把一个人的订单返回给另一个人。检查当前的响应头：

```bash
curl -I https://staging.example.com/api/orders
```

第二层是用 ETag 做重新验证。根据 MDN，当服务器为资源计算出的 ETag 与请求中的 `If-None-Match` 值一致时，服务器返回 `304 Not Modified`，无需再次发送完整响应体。把上一条命令拿到的 ETag 复制到下面的占位符中试试：

```bash
curl -I -H 'If-None-Match: "<刚收到的-etag>"' https://staging.example.com/api/orders
```

本步检查：个性化响应带有 `private`，带 If-None-Match 的请求得到 304，并且重跑第 4 步的各负载级别后，p95 上翘的位置右移。注意，反复请求同一个 URL 的 k6 脚本，缓存命中率会高于真实流量；想要真实的数字，就要变换参数。

## 常见错误

最常见的错误是报告平均延迟，就像开头 167ms 的例子。第二是只设延迟阈值，忘了错误率。第三是报告 VU 数而不是实际达到的每秒请求数，而固定 VU 会在系统变慢时减轻负载。

第四是在共享环境里做负载测试却没告知客户团队，让其他人以为系统宕机了。第五是开启缓存后才测量，却没保留之前的结果表，无法证明改善了多少。

## 如何把这项技能带到客户现场？

设想客户的 CTO 问：“如果明天向所有分支机构开放，系统扛得住吗？”你能给出的最有说服力的回答，是一份以每秒请求数定目标的测试计划、一个放在流水线里的脚本，以及一张加缓存前后各负载级别下 p95 的对比表。

如果你正准备转型做 FDE，可以留意岗位描述中的“production readiness”“performance”或“go-live support”等字眼。简历上不要写“有负载测试经验”，而是写一句具体的话：“在 k6 中设置 p95 和错误率阈值，作为部署前的 CI 门禁；通过逐级加压和尖峰测试找到负载上限；用 Cache-Control 和 ETag 降低 p95”。

上线当天，客户不会问你平均值。他们只关心有没有人在等。

**本周动手试试:**

- 在你的项目中挑一个读接口，写一个带 p(95)&lt;200 阈值和 http_req_failed 的 k6 脚本，在预发环境运行，并用 echo $? 检查退出码。
- 用四五个不同的 VU 级别运行这个脚本，把实际达到的每秒请求数和 p95 记入表格，标出 p95 开始上翘的级别。
- 用 curl -I 查看该端点返回的 Cache-Control 和 ETag；如果它返回按用户区分的数据却没有 private，就记为一个问题。

## 信源

- [API load testing: A beginner's guide (Grafana Labs)](https://grafana.com/blog/2024/01/30/api-load-testing/)

- [Thresholds | Grafana k6 documentation](https://grafana.com/docs/k6/latest/using-k6/thresholds/)

- [Monitoring Distributed Systems (Google SRE Book)](https://sre.google/sre-book/monitoring-distributed-systems/)

- [Simulate user traffic to test your API performance (Postman Docs)](https://learning.postman.com/docs/collections/performance-testing/testing-api-performance/)

- [10 Tips for Improving API Performance (Nordic APIs)](https://nordicapis.com/10-tips-for-improving-api-performance/)

- [HTTP caching (MDN Web Docs)](https://developer.mozilla.org/en-US/docs/Web/HTTP/Guides/Caching)
