# 64 处改动拖垮客户 Agent，六轮评测揪出元凶

> git bisect 早已负责二分查找，真正的功夫在于设一个能容忍 LLM 噪声的评测阈值。

原文: https://fdetimes.net/zh/guides/git-bisect-llm-agent-regressions/

周一，客户发来消息：内部客服 Agent “最近老是答非所问”。过去两周，你的团队合并了大约 60 处改动：修改系统提示词、新增工具、换了一种检索用的文档分块方式、升级了模型版本。每个人都有自己的猜测，却没人能证明。

负责客户 Agent 的前线部署工程师（FDE）迟早都会收到这样的消息。猜得最快的人，未必就是找到 bug 的人。

处理得好的人，靠的是一套机械的排查流程。按步骤走就能得到答案，不需要凭直觉。这项技术在 Git 里早已存在。

你需要额外做的，是让它适应 LLM 这种非确定性的行为。

## 二分查找比想象中便宜

根据 Git 官方文档，`git bisect` 在提交历史上做二分查找，找出第一个引入 bug 的提交。你只需要两个标记：一个确认是好的提交，一个确认是坏的提交。Git 检出中间的提交，你判断它是好是坏，搜索范围随即减半。

以 64 处改动为例。每轮之后剩下 32 处，然后是 16、8、4、2、1，大约 6 轮就能定位。逐个检查提交，最坏情况下要跑 64 次。对 Agent 来说，每跑一次评测都要花 API 费用和时间，6 与 64 的差距很关键。

Git 文档还支持用 `git bisect run` 把整个过程自动化：只要提供一个能判断当前源码好坏的脚本，Git 就会自己跑完每一轮。对 Agent 而言，这个脚本就是你的评测。

## LLM 打破了 bisect 的两个假设

arXiv 上“Time Travel”论文的作者指出，传统 bisect 假设测试是确定性的，失败状态是二元的。LLM 的行为往往两条都不满足。单元测试要么通过、要么失败；Agent 评测给出的是分数，而且分数会波动。

Tian Pan 博客上一篇关于提示词 bisect 的文章提到了一点，很多工程师至今仍会忽略：temperature 设为 0 其实并不是确定性的。同一个提交跑两次，可能分别得 0.84 和 0.79。如果阈值恰好落在这两个数之间，bisect 在第一轮就会走错方向，之后每一轮都在错误的那一半里搜索。

Tian Pan 给出的办法是：bisect 的每一步都跑多次并取平均，这样单次异常结果就无法独自左右判定。代价是评测次数要乘以重复次数：6 轮、每轮 5 次，共 30 次评测。这仍然比瞎猜一周便宜得多。

## 完整示例

假设两周前的版本 `v1.4` 在 40 条用例的评测集上平均得 0.91，而今天的 `HEAD` 只有 0.72。合理的阈值应介于两者之间，比如 0.82，与两端都隔得足够远，噪声不会翻转结果。判定脚本大致如下：

```python
# eval_gate.py — 放在被 bisect 的仓库之外，例如 ~/tools/eval_gate.py
import json, statistics, subprocess, sys

RUNS = 5           # 每个提交重复运行的次数
THRESHOLD = 0.82   # 介于好版本得分（0.91）与坏版本得分（0.72）之间

def run_once():
    out = subprocess.run(
        ["python", "-m", "evals.run", "--cases", "/frozen/cases.jsonl", "--json"],
        capture_output=True, text=True, timeout=900,
    )
    if out.returncode != 0:
        raise RuntimeError(out.stderr)
    return json.loads(out.stdout)["score"]

try:
    scores = [run_once() for _ in range(RUNS)]
except Exception:
    sys.exit(125)   # 评测无法在此提交上运行：跳过它，不要标为坏

mean = statistics.mean(scores)
print(f"均值={mean:.3f} 各次得分={scores}")
sys.exit(0 if mean >= THRESHOLD else 1)
```

然后运行：

```bash
git bisect start
git bisect bad HEAD
git bisect good v1.4
git bisect run python ~/tools/eval_gate.py
git bisect reset
```

脚本中的退出码严格遵循 Git 的约定。0 表示好；1 到 127 中除 125 以外的值表示坏；125 表示该提交无法测试，Git 会跳过它；其他任何值都会中止整个 bisect 会话。

评测崩溃时返回 125，比看上去更重要。某个提交的配置文件里有语法错误，并不代表 Agent 回答得差；把它标为坏，会让整个搜索跑偏。

脚本里有两个小细节决定成败。评测用例必须冻结在仓库之外的固定路径，脚本本身也要放在仓库之外。因为 Git 每次检出旧提交时，工作区里的所有文件，包括测试集，都会回到旧版本。

那样你就是在用一把长度不断变化的尺子做测量。

## bisect 只能找到历史里已有的东西

假设 bisect 跑完，指出提交 `a3f9c1` 是元凶，但这个提交一次改了系统提示词的五个部分。你只走完了一半。

下一步用的是和 git bisect 相同的算法，只是换了单位。按 Tian Pan 的说法，提示词的变更单位应当是 hunk：提示词某一部分里的一处连续修改。因此，把这个提交拆成若干 hunk，逐个应用到好版本上，在这一层级上继续 bisect。

更棘手的情况是 bisect 什么也没找到：每个提交得分都一样，今天的分数却仍低于上周。此时元凶可能根本不在你的仓库里，因为模型服务本身也会随时间变化。

Chen、Zaharia 和 Zou 的研究表明，“同一个” LLM 服务的行为可能在短时间内发生显著变化。

2023 年，GPT-4 在质数任务上的准确率从 3 月的 84.0% 降到 6 月的 51.1%；模型愿意回答的观点调查类问题占比从 97.6% 降到 22.1%。

对 FDE 来说，这种幅度的下滑会在仓库一行代码都没改的情况下拉低评测分数。只有拿到绑定在固定模型版本上的基线分数，才能看出下降来自服务商，而不是团队的提交。

如果服务商更换了模型，提示词历史不会给你任何线索。Tian Pan 建议在提示词版本与模型版本的组合上运行。一个实用的第一步是：保持提示词为好版本，切换到当前模型；再反过来做一次。这样在继续 bisect 之前，你就知道问题出在哪条轴上。

**要点:** 凡是没有在 git 里固定版本的东西，bisect 永远找不到。

所以，从进驻客户的第一天起，就把带具体版本号的模型名写进已提交的配置文件，绝不用“latest”这类别名。数据也一样。

分块配置、索引版本和文档快照，都应在仓库中通过版本标识引用，让数据变更也成为可以 bisect 的提交。

## 让 bisect 说谎的错误

最常见的错误是随意跳过。Git 文档提醒：如果跳过了与元凶相邻的提交，Git 就无法准确指出哪个是第一个坏提交。所以只有评测确实无法运行时才返回 125；分数让人看不懂，不是跳过的理由。

另一个陷阱是阈值离某个标记太近，让噪声决定结果。开始之前，把好标记和坏标记各跑五次。如果两者的分数区间有重叠，说明评测集太小或噪声太大，不适合 bisect，需要先修好。

设想一下：好标记得分在 0.89 到 0.93 之间，坏标记在 0.70 到 0.74 之间，0.82 的阈值正好落在两者的空档里。但如果好标记的区间是 0.78 到 0.90，0.82 的阈值就落进了噪声范围，每一轮 bisect 都近乎抛硬币。

最后要记住，bisect 假设回归是单调的。如果一个提交拉低了分数，后来的另一个提交又意外把它拉了回来，bisect 只会告诉你其中一次转变，而不是全貌。

## 把这项技能变成简历上的证据

对客户来说，“提交 `a3f9c1` 的第三个 hunk 让分数从 0.91 降到 0.72，修复方案在这里”，远比“大概是提示词的问题”有说服力。对招聘经理也一样。

简历上写一句“使用自动化 bisect 配合重复评测，将 Agent 回归定位到单处提示词改动”，就能体现你懂 Git、懂评测、也懂 LLM 的非确定性。面试时，讲清楚一个这样的案例，包括 bisect 的轮数以及修复前后的分数。

每个 Agent 都会在某个时刻变差。手里有好坏判定脚本、历史版本又固定好的 FDE，大约六轮评测就能回答“为什么”。缺了这两样，就只剩下猜。

**本周动手试试:**

- 检查你负责的 Agent 仓库，确认模型名、提示词和检索配置是否都在 git 中，并且固定到了具体版本
- 编写 eval_gate.py：把 20-50 条固定评测用例跑 5 次，取平均，与阈值比较，并以退出码 0、1 或 125 退出
- 在提示词历史中挑两个相隔较远的提交，用这个脚本运行 git bisect run，记录缩小到元凶需要几轮

## 信源

- [git-bisect Documentation](https://git-scm.com/docs/git-bisect)

- [How Is ChatGPT's Behavior Changing over Time? (Chen, Zaharia, Zou)](https://huggingface.co/papers/2307.09009.md)

- [Time Travel: LLM-Assisted Semantic Behavior Localization with Git Bisect](https://arxiv.org/html/2511.18854v1)

- [Prompt bisect: binary search for eval regressions](https://tianpan.co/blog/2026/04/27/prompt-bisect-binary-search-eval-regression)
