# GoReplay 回放跑通了，不等于新版本没问题

> GoReplay 没有内置新旧响应比对功能，FDE 验证迁移时只能自己写中间件。

原文: https://fdetimes.net/zh/guides/goreplay-replay-real-traffic-compare-responses/

DEV Community 上一篇对比流量回放工具的文章，对 GoReplay 的评价很直接：想比对原始数据和回放数据，就得自己写中间件。GoReplay 没有内置比对步骤。

对一位准备把客户迁到新集成上的前线部署工程师（FDE）来说，这个细节很关键。把一整份真实流量文件回放到新版本，可能一个错误都看不到，但能得出的结论只有一条：新版本能接收请求。

它的响应是否正确，仍然无从得知。GoReplay wiki 还写明了一个前提：只有开启 `--input-raw-track-response`，原始响应才会传给中间件。忘了这个参数，比对就没有基准。

下面的步骤覆盖完整流程：录制真实请求，清洗请求，以受限速率回放到新版本，再把新旧响应配对。可以先在本机运行的服务上练习，等客户问“我们可以切换了吗？”时，再把同一套流程原样搬到客户现场。

## 要做什么，需要准备什么

示例场景是假设的。客户有一个旧服务，监听 8080 端口，在 `/api` 下提供 API。你刚为同一组端点写好一个新集成。切换之前，需要用真实流量证明两个版本返回的结果一致。

需要准备：运行旧服务的机器上装好 GoReplay 的 `gor` 二进制文件，并有权限读取该机器的网络流量；一个与生产环境隔离、用来接收回放请求的环境；以及用于编写中间件的 Python 3。GoReplay 只能在终端运行，没有 Web 界面，结果都写在日志里，没有仪表盘。

动手之前先定一条安全规则：接收回放请求的环境必须隔离。如果新版本不小心写入了生产数据库，测试就会变成一次真正的事故。

## 第 1 步：录制到文件，连同原始响应

比对需要以原始响应为基准。下面这条最简录制命令开启了 `--input-raw-track-response`，之后中间件才能收到原始响应。文件输出相关的参数名，请对照所装版本的 `./gor --help` 核实：

```bash
sudo ./gor --input-raw :8080 \
  --input-raw-track-response \
  --output-file requests.gor
```

**检查：**向 8080 端口发几个请求，看文件是否变大。如果一直为空，可能监听错了端口。

## 第 2 步：回放前先清洗

真实流量里总有不该回放的内容。回放一个退出登录请求，可能让某个会话失效；把真实 token 带到另一个环境，等于泄露凭据。GoReplay 为此提供了三个参数。

`--http-allow-url` 只转发匹配某个模式的 URL，可以只保留正在迁移的端点。`--http-disallow-url` 正好相反，丢弃匹配的 URL。`--http-header` 为请求设置请求头，已存在则覆盖。在这个示例中，三个参数如下（`TEST_TOKEN` 是测试用户的 token）：

```bash
--http-allow-url /api \
--http-disallow-url "sign_(in|out)" \
--http-header "Authorization: Bearer TEST_TOKEN"
```

有一个例外需要记住：根据 wiki，请求头参数无法覆盖 `Host`。所以不要指望用它来更换目标机器，目标由下一步的 `--output-http` 指定。

## 第 3 步：限速回放到新版本

从文件回放时，GoReplay 会保留录制时请求之间的间隔。可以调整回放速度，比如两倍速，也可以用 `--input-file-loop` 循环回放文件。对一个刚写好的集成来说，两倍速通常太快。

更稳妥的做法是限制每秒发往目标的请求数。GoReplay wiki 中有一个示例，确保预发布环境每秒收到的请求不超过十个。

加上第 2 步的清洗参数，就得到下面这条完整的回放命令。它是**简化版**，`|10` 后缀的写法请对照所装版本的 `./gor --help` 核实：

```bash
./gor --input-file requests.gor \
  --http-allow-url /api \
  --http-disallow-url "sign_(in|out)" \
  --http-header "Authorization: Bearer TEST_TOKEN" \
  --output-http "http://new-integration.internal|10" \
  --middleware "python3 diff.py"
```

**检查：**新版本的日志里只有发往 `/api` 的请求，没有 `sign_in` 或 `sign_out`，且 `Authorization` 请求头携带的是测试 token。

## 第 4 步：配对新旧响应

中间件会收到三类消息：`1` 是请求，`2` 是原始响应，`3` 是回放响应。每条消息都带有一个 ID，原始响应和回放响应的 ID 相同，配对就靠它。

陷阱在于顺序。wiki 提醒，请求和响应不保证依次到达，所以中间件必须保存状态，直到两半都到齐。

下面的代码是**简化版**，基于几条需要自行核实的假设：每行输入是一条十六进制编码的消息，消息类型是首行的第一个值，ID 是紧随其后的值。它也只比对状态行。确切格式请对照 GoReplay wiki 的 Middleware 页面。

```python
import sys, binascii

pending = {}
for line in sys.stdin:
    raw = binascii.unhexlify(line.strip())
    header, _, body = raw.partition(b"\n")
    kind, msg_id = header.split(b" ")[:2]
    if kind == b"1":
        sys.stdout.write(line)   # 把请求原样交还给 GoReplay
        sys.stdout.flush()
        continue
    pair = pending.setdefault(msg_id, {})
    pair[kind] = body.split(b"\r\n", 1)[0]
    if b"2" in pair and b"3" in pair:
        if pair[b"2"] != pair[b"3"]:
            sys.stderr.write(f"{msg_id.decode()} {pair[b'2']!r} -> {pair[b'3']!r}\n")
        del pending[msg_id]
```

结果输出到 STDERR。GoReplay 只能在终端运行，结果就在这里查看，最好重定向到文件，方便之后筛选。实际使用时，还需要比对响应体，忽略每次都会变的字段（比如时间戳），并清理始终凑不齐两半的配对。

**要点:** 回放成功什么也证明不了，只有比对响应才算数。

## 让测试失去意义的错误

查看结果之前，先确认中间件同时收到了类型 `2` 和类型 `3` 的消息。录制时忘了 `--input-raw-track-response`，就没有可供比对的原始响应。

只要缺一类，中间件就永远凑不成一对，差异日志就会是空的。空日志很容易被误读为“没有差异”。

此外，不要把真实 token 带进新版本，也不要让它连真实数据库。还要避免回放过快，再把超时当成逻辑错误。从每秒 10 个请求起步，等差异列表清干净了再提高速率。

## 这项技能在客户现场的用处

集成切换之前，你必须回答一个问题：“怎么知道新版本不会把东西搞坏？”一份列出响应不一致的 ID、并说明每组原因的清单，远比一句“测试通过”更有说服力。

到客户现场后，第一件事是问清楚哪个环境真正与生产环境隔离，哪些端点在迁移范围内。

在简历或面试中，要用结果来描述这项技能：在切换前录制真实流量、清洗请求、以受控速率回放并比对响应。如果 FDE 岗位描述里提到迁移、影子流量或零停机切换，正是讲这套四步流程的时机。

**本周动手试试:**

- 开启 --input-raw-track-response，把本机某个服务 15 分钟的流量录制到文件
- 把这个文件回放到一个副本，限速每秒 10 个请求，并过滤掉所有登录和退出登录请求
- 编写中间件，比对原始响应和回放响应的状态行，并打印不一致的 ID

## 信源

- [Saving and Replaying from file – GoReplay wiki](https://github.com/buger/goreplay/wiki/Saving-and-Replaying-from-file)

- [Request filtering – GoReplay wiki](https://github.com/buger/goreplay/wiki/Request-filtering)

- [Request rewriting – GoReplay wiki](https://github.com/buger/goreplay/wiki/Request-rewriting)

- [Middleware – GoReplay wiki](https://github.com/buger/goreplay/wiki/Middleware)

- [AREX or GoReplay: Choosing the Right Tool for Effective Traffic Replay (DEV Community)](https://dev.to/arex_test/arex-or-goreplay-choosing-the-right-tool-for-effective-traffic-replay-1pmp)

- [Rate limiting – GoReplay wiki](https://github.com/buger/goreplay/wiki/Rate-limiting)
