64 处改动拖垮客户 Agent,六轮评测揪出元凶
git bisect 早已负责二分查找,真正的功夫在于设一个能容忍 LLM 噪声的评测阈值。
要点速览
- git bisect 用二分查找定位第一个坏提交:64 处改动只需约 6 轮检查
- 换成 LLM,好坏判定必须来自多次运行取平均的评测,因为 temperature 设为 0 也并非确定性输出
- 如果提示词历史里找不到元凶,多半是模型变了:在提示词版本与模型版本的组合上做 bisect
周一,客户发来消息:内部客服 Agent “最近老是答非所问”。过去两周,你的团队合并了大约 60 处改动:修改系统提示词、新增工具、换了一种检索用的文档分块方式、升级了模型版本。每个人都有自己的猜测,却没人能证明。
负责客户 Agent 的前线部署工程师(FDE)迟早都会收到这样的消息。猜得最快的人,未必就是找到 bug 的人。
处理得好的人,靠的是一套机械的排查流程。按步骤走就能得到答案,不需要凭直觉。这项技术在 Git 里早已存在。
你需要额外做的,是让它适应 LLM 这种非确定性的行为。
二分查找比想象中便宜
根据 Git 官方文档,git bisect 在提交历史上做二分查找,找出第一个引入 bug 的提交。你只需要两个标记:一个确认是好的提交,一个确认是坏的提交。Git 检出中间的提交,你判断它是好是坏,搜索范围随即减半。
以 64 处改动为例。每轮之后剩下 32 处,然后是 16、8、4、2、1,大约 6 轮就能定位。逐个检查提交,最坏情况下要跑 64 次。对 Agent 来说,每跑一次评测都要花 API 费用和时间,6 与 64 的差距很关键。
Git 文档还支持用 git bisect run 把整个过程自动化:只要提供一个能判断当前源码好坏的脚本,Git 就会自己跑完每一轮。对 Agent 而言,这个脚本就是你的评测。
LLM 打破了 bisect 的两个假设
arXiv 上“Time Travel”论文的作者指出,传统 bisect 假设测试是确定性的,失败状态是二元的。LLM 的行为往往两条都不满足。单元测试要么通过、要么失败;Agent 评测给出的是分数,而且分数会波动。
Tian Pan 博客上一篇关于提示词 bisect 的文章提到了一点,很多工程师至今仍会忽略:temperature 设为 0 其实并不是确定性的。同一个提交跑两次,可能分别得 0.84 和 0.79。如果阈值恰好落在这两个数之间,bisect 在第一轮就会走错方向,之后每一轮都在错误的那一半里搜索。
Tian Pan 给出的办法是:bisect 的每一步都跑多次并取平均,这样单次异常结果就无法独自左右判定。代价是评测次数要乘以重复次数:6 轮、每轮 5 次,共 30 次评测。这仍然比瞎猜一周便宜得多。
完整示例
假设两周前的版本 v1.4 在 40 条用例的评测集上平均得 0.91,而今天的 HEAD 只有 0.72。合理的阈值应介于两者之间,比如 0.82,与两端都隔得足够远,噪声不会翻转结果。判定脚本大致如下:
# eval_gate.py — 放在被 bisect 的仓库之外,例如 ~/tools/eval_gate.py
import json, statistics, subprocess, sys
RUNS = 5 # 每个提交重复运行的次数
THRESHOLD = 0.82 # 介于好版本得分(0.91)与坏版本得分(0.72)之间
def run_once():
out = subprocess.run(
["python", "-m", "evals.run", "--cases", "/frozen/cases.jsonl", "--json"],
capture_output=True, text=True, timeout=900,
)
if out.returncode != 0:
raise RuntimeError(out.stderr)
return json.loads(out.stdout)["score"]
try:
scores = [run_once() for _ in range(RUNS)]
except Exception:
sys.exit(125) # 评测无法在此提交上运行:跳过它,不要标为坏
mean = statistics.mean(scores)
print(f"均值={mean:.3f} 各次得分={scores}")
sys.exit(0 if mean >= THRESHOLD else 1)
然后运行:
git bisect start
git bisect bad HEAD
git bisect good v1.4
git bisect run python ~/tools/eval_gate.py
git bisect reset
脚本中的退出码严格遵循 Git 的约定。0 表示好;1 到 127 中除 125 以外的值表示坏;125 表示该提交无法测试,Git 会跳过它;其他任何值都会中止整个 bisect 会话。
评测崩溃时返回 125,比看上去更重要。某个提交的配置文件里有语法错误,并不代表 Agent 回答得差;把它标为坏,会让整个搜索跑偏。
脚本里有两个小细节决定成败。评测用例必须冻结在仓库之外的固定路径,脚本本身也要放在仓库之外。因为 Git 每次检出旧提交时,工作区里的所有文件,包括测试集,都会回到旧版本。
那样你就是在用一把长度不断变化的尺子做测量。
bisect 只能找到历史里已有的东西
假设 bisect 跑完,指出提交 a3f9c1 是元凶,但这个提交一次改了系统提示词的五个部分。你只走完了一半。
下一步用的是和 git bisect 相同的算法,只是换了单位。按 Tian Pan 的说法,提示词的变更单位应当是 hunk:提示词某一部分里的一处连续修改。因此,把这个提交拆成若干 hunk,逐个应用到好版本上,在这一层级上继续 bisect。
更棘手的情况是 bisect 什么也没找到:每个提交得分都一样,今天的分数却仍低于上周。此时元凶可能根本不在你的仓库里,因为模型服务本身也会随时间变化。
Chen、Zaharia 和 Zou 的研究表明,“同一个” LLM 服务的行为可能在短时间内发生显著变化。
2023 年,GPT-4 在质数任务上的准确率从 3 月的 84.0% 降到 6 月的 51.1%;模型愿意回答的观点调查类问题占比从 97.6% 降到 22.1%。
对 FDE 来说,这种幅度的下滑会在仓库一行代码都没改的情况下拉低评测分数。只有拿到绑定在固定模型版本上的基线分数,才能看出下降来自服务商,而不是团队的提交。
如果服务商更换了模型,提示词历史不会给你任何线索。Tian Pan 建议在提示词版本与模型版本的组合上运行。一个实用的第一步是:保持提示词为好版本,切换到当前模型;再反过来做一次。这样在继续 bisect 之前,你就知道问题出在哪条轴上。
所以,从进驻客户的第一天起,就把带具体版本号的模型名写进已提交的配置文件,绝不用“latest”这类别名。数据也一样。
分块配置、索引版本和文档快照,都应在仓库中通过版本标识引用,让数据变更也成为可以 bisect 的提交。
让 bisect 说谎的错误
最常见的错误是随意跳过。Git 文档提醒:如果跳过了与元凶相邻的提交,Git 就无法准确指出哪个是第一个坏提交。所以只有评测确实无法运行时才返回 125;分数让人看不懂,不是跳过的理由。
另一个陷阱是阈值离某个标记太近,让噪声决定结果。开始之前,把好标记和坏标记各跑五次。如果两者的分数区间有重叠,说明评测集太小或噪声太大,不适合 bisect,需要先修好。
设想一下:好标记得分在 0.89 到 0.93 之间,坏标记在 0.70 到 0.74 之间,0.82 的阈值正好落在两者的空档里。但如果好标记的区间是 0.78 到 0.90,0.82 的阈值就落进了噪声范围,每一轮 bisect 都近乎抛硬币。
最后要记住,bisect 假设回归是单调的。如果一个提交拉低了分数,后来的另一个提交又意外把它拉了回来,bisect 只会告诉你其中一次转变,而不是全貌。
把这项技能变成简历上的证据
对客户来说,“提交 a3f9c1 的第三个 hunk 让分数从 0.91 降到 0.72,修复方案在这里”,远比“大概是提示词的问题”有说服力。对招聘经理也一样。
简历上写一句“使用自动化 bisect 配合重复评测,将 Agent 回归定位到单处提示词改动”,就能体现你懂 Git、懂评测、也懂 LLM 的非确定性。面试时,讲清楚一个这样的案例,包括 bisect 的轮数以及修复前后的分数。
每个 Agent 都会在某个时刻变差。手里有好坏判定脚本、历史版本又固定好的 FDE,大约六轮评测就能回答“为什么”。缺了这两样,就只剩下猜。
这篇文章对你有帮助吗?
感谢你的反馈!