FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

平均延迟 167ms,上线当天 p95 却可能是两秒

在笔记本上用 k6 设阈值、找延迟拐点,再安全地加缓存,不在用户间串数据。

分享微博

要点速览

  • 目标用 p95 和每秒请求数来定,不要用平均延迟。
  • k6 阈值被突破时退出码非零,因此负载测试可以充当 CI/CD 中的门禁。
  • 缓存是首选手段,但个性化响应必须标记为 private。
大数字显示 p95 为 2000ms,而平均延迟只有 167ms,低于 200ms 阈值。右侧是 100 个圆点组成的网格:94 个蓝点代表耗时 50ms 的请求,6 个橙点代表耗时 2000ms 的请求。
同样 100 个请求,平均延迟 167ms 仍满足 200ms 阈值,但 p95 是 2000ms:每 100 个用户中有 6 个要等两秒。来源:文中的假设示例。

设想有 100 个请求打到一个 API 上:94 个在 50ms 内返回,6 个耗时 2000ms。平均值是 167ms,低于 200ms 的阈值,发给客户的报告会写“通过”。但同一组数据的 p95 是 2000ms:每 100 个用户中有 6 个要等两秒。

Google 的 SRE 书把“大多数请求都接近平均值”的想法称为一厢情愿。对前线部署工程师(FDE)来说,这在上线前一周就不再是理论:客户需要知道系统能否扛过上线当天,而用数字回答这个问题的人是你。

本指南介绍一套能在笔记本上跑完的流程。你将编写带通过/失败阈值的负载测试脚本,把它作为流水线中的门禁运行,逐级加压找到 p95 开始上翘的位置,再在不让用户之间串数据的前提下加上缓存。

开始前需要准备什么?

你需要安装好 k6,准备一个 API 的预发环境(不要对客户的生产环境施压),能查看预发环境中 CPU、内存和数据库的监控面板,以及 curl。

如果客户团队更熟悉 Postman,Postman 也能让多个虚拟用户并行执行一串请求,并对平均值、p90、p95 或 p99 设置通过条件。下文的思路对两种工具都适用。

比工具更重要的是和客户的一次简短沟通。你需要两个数字:目标负载和可接受的延迟。

第 1 步:用每秒请求数和 p95 确定目标

Grafana Labs 的 API 负载测试指南指出,负载通常以请求速率表示,即每秒或每分钟的请求数。所以不要问客户“你们有多少用户?”,而要问“高峰期这个端点每秒有多少请求?”用户数需要换算,每秒请求数可以直接测量。

延迟方面,Grafana 给出的标准写法是:95% 的请求必须在 200ms 内完成。目标就按这个格式写。

如果你的 API 由一个扇出到多个后端的前端调用,就要定得更严:Google 的 SRE 书提醒,后端的 p99 很容易变成前端的中位延迟,因为一个页面调用多个后端时,经常会碰上至少一个慢请求。

本步检查:你有一行可以写进测试计划的话,例如“端点 /orders,每秒 500 个请求,p95 低于 200ms,错误率低于 1%”(这里的负载数字是假设的),并且客户已经同意。

第 2 步:把目标转成 k6 阈值

k6 用阈值(threshold)表达通过/失败标准。k6 文档介绍了通过 http_req_failed 指标评估 HTTP 错误率的阈值,以及 abortOnFail 属性:设为 true 后,阈值一被突破测试就立即停止。

下面的脚本是精简版:为便于阅读使用了固定数量的虚拟用户,URL 是假设的,语法请对照你所用 k6 版本的文档核实。

// load.js — 精简示例
import http from 'k6/http';

export const options = {
  vus: 20,
  duration: '2m',
  thresholds: {
    http_req_duration: [{ threshold: 'p(95)<200', abortOnFail: true }],
    http_req_failed: ['rate<0.01'],
  },
};

export default function () {
  http.get('https://staging.example.com/api/orders');
}

系统明显已经出问题时,abortOnFail 值得开启:没必要等满两分钟才发现 p95 已飙到好几秒。在延迟阈值之外同时设置错误率阈值同样重要,因为一个飞快返回 500 错误的 API,p95 照样很漂亮。

VU 不等于每秒请求数

第 1 步用每秒请求数确定了目标,脚本里声明的却是 20 个虚拟用户(VU)。两者之间是简单的算术关系:每个 VU 不停循环,所以吞吐量约等于 VU 数除以一次迭代的耗时。20 个 VU、每个请求 50ms,理论上约为每秒 400 个请求。

陷阱在反方向。系统变慢、每个请求耗时 200ms 时,同样 20 个 VU 只能产生约每秒 100 个请求:测试恰恰在系统最弱的时候减轻了负载,p95 看起来比实际情况好看。

因此,这个换算只用来估算起始 VU 数。每次运行后,把实际达到的每秒请求数与测试计划中的目标对比;如果没达到,就增加 VU 再跑,直到达标为止。

第 3 步:运行,让退出码说了算

k6 run load.js
echo $?

Grafana Labs 强调,测试失败时 k6 CLI 会返回非零退出码,这是自动化的前提。你可以把这条命令放进 CI/CD 流水线的部署步骤之前:阈值一旦被突破,流水线变红,构建不会发布。

本步检查:故意把阈值调低到 p(95)<1 再跑一次。如果 echo $? 仍然输出 0,说明你的门禁什么都拦不住。

第 4 步:逐级加压,再做尖峰测试

在固定负载下跑一次,只能说明系统在某一个负载级别下没问题。上线当天通常是另一番景象:客户发出公告邮件或打开某个功能时,负载会突然激增。Grafana 按目的划分测试类型,其中尖峰测试(spike test)用来观察系统如何应对突然的大幅流量激增。

最简单的做法不需要新配置:修改 load.js 中的 vus,在每个级别重新运行,每次记录实际达到的每秒请求数、p95 和错误率。这是为便于理解而简化的手动逐级加压。下表是某个端点的假设示例数字,用来展示你要找的曲线长什么样。

负载级别 实际每秒请求数 p95 错误率
10 个 VU 180 60ms 0%
20 个 VU 350 75ms 0%
40 个 VU 600 140ms 0%
60 个 VU 640 380ms 0.2%
80 个 VU 610 900ms 3%

用 Google SRE 提出的四个黄金信号来读这张表:延迟、流量、错误和饱和度。从 40 到 60 个 VU,流量几乎不动,维持在每秒 600–640 个请求左右,p95 却涨了近三倍,错误只是略有上升。SRE 书指出,延迟上升往往是饱和的先行指标,这里正是这种情形。

这个假设端点的真实上限约为每秒 600–640 个请求,而不是错误开始溢出的 80 个 VU。看到 p95 上翘时,打开预发环境的监控面板,找出即将耗尽的资源:CPU、数据库连接池或某个队列。k6 只能提供前三个信号。

做尖峰测试时,先在 10 个 VU 保持基线,然后直接跳到客户预期峰值数倍的级别,而不是逐步加压。要回答的问题是:系统会大量报错,还是只是变慢之后再恢复。

第 5 步:加缓存,再跑一遍

读接口的 p95 超出阈值时,缓存通常是第一个手段。Nordic APIs 的解释很简单:把响应放进缓存,可以避免不必要的数据库查询。但在客户项目里加缓存,有一个数据陷阱。

MDN 写得很明确:如果响应包含个性化内容,并且你希望它只存入私有缓存,就必须指定 private 指令。没有它,CDN 或代理这类共享缓存可能把一个人的订单返回给另一个人。检查当前的响应头:

curl -I https://staging.example.com/api/orders

第二层是用 ETag 做重新验证。根据 MDN,当服务器为资源计算出的 ETag 与请求中的 If-None-Match 值一致时,服务器返回 304 Not Modified,无需再次发送完整响应体。把上一条命令拿到的 ETag 复制到下面的占位符中试试:

curl -I -H 'If-None-Match: "<刚收到的-etag>"' https://staging.example.com/api/orders

本步检查:个性化响应带有 private,带 If-None-Match 的请求得到 304,并且重跑第 4 步的各负载级别后,p95 上翘的位置右移。注意,反复请求同一个 URL 的 k6 脚本,缓存命中率会高于真实流量;想要真实的数字,就要变换参数。

常见错误

最常见的错误是报告平均延迟,就像开头 167ms 的例子。第二是只设延迟阈值,忘了错误率。第三是报告 VU 数而不是实际达到的每秒请求数,而固定 VU 会在系统变慢时减轻负载。

第四是在共享环境里做负载测试却没告知客户团队,让其他人以为系统宕机了。第五是开启缓存后才测量,却没保留之前的结果表,无法证明改善了多少。

如何把这项技能带到客户现场?

设想客户的 CTO 问:“如果明天向所有分支机构开放,系统扛得住吗?”你能给出的最有说服力的回答,是一份以每秒请求数定目标的测试计划、一个放在流水线里的脚本,以及一张加缓存前后各负载级别下 p95 的对比表。

如果你正准备转型做 FDE,可以留意岗位描述中的“production readiness”“performance”或“go-live support”等字眼。简历上不要写“有负载测试经验”,而是写一句具体的话:“在 k6 中设置 p95 和错误率阈值,作为部署前的 CI 门禁;通过逐级加压和尖峰测试找到负载上限;用 Cache-Control 和 ETag 降低 p95”。

上线当天,客户不会问你平均值。他们只关心有没有人在等。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 6: 价值度量客户说预测错了,先别急着怀疑模型模型和代码都没变时,沿数据集、作业和运行逐步回溯,就能找到上游变了什么。