GoReplay 回放跑通了,不等于新版本没问题
GoReplay 没有内置新旧响应比对功能,FDE 验证迁移时只能自己写中间件。
要点速览
- 回放跑完整个文件、没有报错,并不能证明新版本正确,因为 GoReplay 没有内置比对步骤。
- 只有录制时开启了 --input-raw-track-response,原始响应才会传给中间件。
- 中间件会收到三类消息(请求、原始响应、回放响应),到达顺序不固定,需要按共享 ID 配对。
DEV Community 上一篇对比流量回放工具的文章,对 GoReplay 的评价很直接:想比对原始数据和回放数据,就得自己写中间件。GoReplay 没有内置比对步骤。
对一位准备把客户迁到新集成上的前线部署工程师(FDE)来说,这个细节很关键。把一整份真实流量文件回放到新版本,可能一个错误都看不到,但能得出的结论只有一条:新版本能接收请求。
它的响应是否正确,仍然无从得知。GoReplay wiki 还写明了一个前提:只有开启 --input-raw-track-response,原始响应才会传给中间件。忘了这个参数,比对就没有基准。
下面的步骤覆盖完整流程:录制真实请求,清洗请求,以受限速率回放到新版本,再把新旧响应配对。可以先在本机运行的服务上练习,等客户问“我们可以切换了吗?”时,再把同一套流程原样搬到客户现场。
要做什么,需要准备什么
示例场景是假设的。客户有一个旧服务,监听 8080 端口,在 /api 下提供 API。你刚为同一组端点写好一个新集成。切换之前,需要用真实流量证明两个版本返回的结果一致。
需要准备:运行旧服务的机器上装好 GoReplay 的 gor 二进制文件,并有权限读取该机器的网络流量;一个与生产环境隔离、用来接收回放请求的环境;以及用于编写中间件的 Python 3。GoReplay 只能在终端运行,没有 Web 界面,结果都写在日志里,没有仪表盘。
动手之前先定一条安全规则:接收回放请求的环境必须隔离。如果新版本不小心写入了生产数据库,测试就会变成一次真正的事故。
第 1 步:录制到文件,连同原始响应
比对需要以原始响应为基准。下面这条最简录制命令开启了 --input-raw-track-response,之后中间件才能收到原始响应。文件输出相关的参数名,请对照所装版本的 ./gor --help 核实:
sudo ./gor --input-raw :8080 \
--input-raw-track-response \
--output-file requests.gor
**检查:**向 8080 端口发几个请求,看文件是否变大。如果一直为空,可能监听错了端口。
第 2 步:回放前先清洗
真实流量里总有不该回放的内容。回放一个退出登录请求,可能让某个会话失效;把真实 token 带到另一个环境,等于泄露凭据。GoReplay 为此提供了三个参数。
--http-allow-url 只转发匹配某个模式的 URL,可以只保留正在迁移的端点。--http-disallow-url 正好相反,丢弃匹配的 URL。--http-header 为请求设置请求头,已存在则覆盖。在这个示例中,三个参数如下(TEST_TOKEN 是测试用户的 token):
--http-allow-url /api \
--http-disallow-url "sign_(in|out)" \
--http-header "Authorization: Bearer TEST_TOKEN"
有一个例外需要记住:根据 wiki,请求头参数无法覆盖 Host。所以不要指望用它来更换目标机器,目标由下一步的 --output-http 指定。
第 3 步:限速回放到新版本
从文件回放时,GoReplay 会保留录制时请求之间的间隔。可以调整回放速度,比如两倍速,也可以用 --input-file-loop 循环回放文件。对一个刚写好的集成来说,两倍速通常太快。
更稳妥的做法是限制每秒发往目标的请求数。GoReplay wiki 中有一个示例,确保预发布环境每秒收到的请求不超过十个。
加上第 2 步的清洗参数,就得到下面这条完整的回放命令。它是简化版,|10 后缀的写法请对照所装版本的 ./gor --help 核实:
./gor --input-file requests.gor \
--http-allow-url /api \
--http-disallow-url "sign_(in|out)" \
--http-header "Authorization: Bearer TEST_TOKEN" \
--output-http "http://new-integration.internal|10" \
--middleware "python3 diff.py"
**检查:**新版本的日志里只有发往 /api 的请求,没有 sign_in 或 sign_out,且 Authorization 请求头携带的是测试 token。
第 4 步:配对新旧响应
中间件会收到三类消息:1 是请求,2 是原始响应,3 是回放响应。每条消息都带有一个 ID,原始响应和回放响应的 ID 相同,配对就靠它。
陷阱在于顺序。wiki 提醒,请求和响应不保证依次到达,所以中间件必须保存状态,直到两半都到齐。
下面的代码是简化版,基于几条需要自行核实的假设:每行输入是一条十六进制编码的消息,消息类型是首行的第一个值,ID 是紧随其后的值。它也只比对状态行。确切格式请对照 GoReplay wiki 的 Middleware 页面。
import sys, binascii
pending = {}
for line in sys.stdin:
raw = binascii.unhexlify(line.strip())
header, _, body = raw.partition(b"\n")
kind, msg_id = header.split(b" ")[:2]
if kind == b"1":
sys.stdout.write(line) # 把请求原样交还给 GoReplay
sys.stdout.flush()
continue
pair = pending.setdefault(msg_id, {})
pair[kind] = body.split(b"\r\n", 1)[0]
if b"2" in pair and b"3" in pair:
if pair[b"2"] != pair[b"3"]:
sys.stderr.write(f"{msg_id.decode()} {pair[b'2']!r} -> {pair[b'3']!r}\n")
del pending[msg_id]
结果输出到 STDERR。GoReplay 只能在终端运行,结果就在这里查看,最好重定向到文件,方便之后筛选。实际使用时,还需要比对响应体,忽略每次都会变的字段(比如时间戳),并清理始终凑不齐两半的配对。
让测试失去意义的错误
查看结果之前,先确认中间件同时收到了类型 2 和类型 3 的消息。录制时忘了 --input-raw-track-response,就没有可供比对的原始响应。
只要缺一类,中间件就永远凑不成一对,差异日志就会是空的。空日志很容易被误读为“没有差异”。
此外,不要把真实 token 带进新版本,也不要让它连真实数据库。还要避免回放过快,再把超时当成逻辑错误。从每秒 10 个请求起步,等差异列表清干净了再提高速率。
这项技能在客户现场的用处
集成切换之前,你必须回答一个问题:“怎么知道新版本不会把东西搞坏?”一份列出响应不一致的 ID、并说明每组原因的清单,远比一句“测试通过”更有说服力。
到客户现场后,第一件事是问清楚哪个环境真正与生产环境隔离,哪些端点在迁移范围内。
在简历或面试中,要用结果来描述这项技能:在切换前录制真实流量、清洗请求、以受控速率回放并比对响应。如果 FDE 岗位描述里提到迁移、影子流量或零停机切换,正是讲这套四步流程的时机。
这篇文章对你有帮助吗?
感谢你的反馈!