FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

64 处改动拖垮客户 Agent,六轮评测揪出元凶

git bisect 早已负责二分查找,真正的功夫在于设一个能容忍 LLM 噪声的评测阈值。

分享微博

要点速览

  • git bisect 用二分查找定位第一个坏提交:64 处改动只需约 6 轮检查
  • 换成 LLM,好坏判定必须来自多次运行取平均的评测,因为 temperature 设为 0 也并非确定性输出
  • 如果提示词历史里找不到元凶,多半是模型变了:在提示词版本与模型版本的组合上做 bisect
横向条形图,比较在 64 处改动中找出问题改动所需的评测次数:逐个检查提交最坏要 64 次,每轮重复 5 次的 bisect 需要 30 次,每轮只跑 1 次的 bisect 只需 6 次,但容易因噪声走错方向。
为防噪声,bisect 每轮重复运行,评测次数升至 30 次,仍不到逐个检查所需 64 次的一半。来源:文中计算,依据 git bisect 文档与 Tian Pan 的博客。

周一,客户发来消息:内部客服 Agent “最近老是答非所问”。过去两周,你的团队合并了大约 60 处改动:修改系统提示词、新增工具、换了一种检索用的文档分块方式、升级了模型版本。每个人都有自己的猜测,却没人能证明。

负责客户 Agent 的前线部署工程师(FDE)迟早都会收到这样的消息。猜得最快的人,未必就是找到 bug 的人。

处理得好的人,靠的是一套机械的排查流程。按步骤走就能得到答案,不需要凭直觉。这项技术在 Git 里早已存在。

你需要额外做的,是让它适应 LLM 这种非确定性的行为。

二分查找比想象中便宜

根据 Git 官方文档,git bisect 在提交历史上做二分查找,找出第一个引入 bug 的提交。你只需要两个标记:一个确认是好的提交,一个确认是坏的提交。Git 检出中间的提交,你判断它是好是坏,搜索范围随即减半。

以 64 处改动为例。每轮之后剩下 32 处,然后是 16、8、4、2、1,大约 6 轮就能定位。逐个检查提交,最坏情况下要跑 64 次。对 Agent 来说,每跑一次评测都要花 API 费用和时间,6 与 64 的差距很关键。

Git 文档还支持用 git bisect run 把整个过程自动化:只要提供一个能判断当前源码好坏的脚本,Git 就会自己跑完每一轮。对 Agent 而言,这个脚本就是你的评测。

LLM 打破了 bisect 的两个假设

arXiv 上“Time Travel”论文的作者指出,传统 bisect 假设测试是确定性的,失败状态是二元的。LLM 的行为往往两条都不满足。单元测试要么通过、要么失败;Agent 评测给出的是分数,而且分数会波动。

Tian Pan 博客上一篇关于提示词 bisect 的文章提到了一点,很多工程师至今仍会忽略:temperature 设为 0 其实并不是确定性的。同一个提交跑两次,可能分别得 0.84 和 0.79。如果阈值恰好落在这两个数之间,bisect 在第一轮就会走错方向,之后每一轮都在错误的那一半里搜索。

Tian Pan 给出的办法是:bisect 的每一步都跑多次并取平均,这样单次异常结果就无法独自左右判定。代价是评测次数要乘以重复次数:6 轮、每轮 5 次,共 30 次评测。这仍然比瞎猜一周便宜得多。

完整示例

假设两周前的版本 v1.4 在 40 条用例的评测集上平均得 0.91,而今天的 HEAD 只有 0.72。合理的阈值应介于两者之间,比如 0.82,与两端都隔得足够远,噪声不会翻转结果。判定脚本大致如下:

# eval_gate.py — 放在被 bisect 的仓库之外,例如 ~/tools/eval_gate.py
import json, statistics, subprocess, sys

RUNS = 5           # 每个提交重复运行的次数
THRESHOLD = 0.82   # 介于好版本得分(0.91)与坏版本得分(0.72)之间

def run_once():
    out = subprocess.run(
        ["python", "-m", "evals.run", "--cases", "/frozen/cases.jsonl", "--json"],
        capture_output=True, text=True, timeout=900,
    )
    if out.returncode != 0:
        raise RuntimeError(out.stderr)
    return json.loads(out.stdout)["score"]

try:
    scores = [run_once() for _ in range(RUNS)]
except Exception:
    sys.exit(125)   # 评测无法在此提交上运行:跳过它,不要标为坏

mean = statistics.mean(scores)
print(f"均值={mean:.3f} 各次得分={scores}")
sys.exit(0 if mean >= THRESHOLD else 1)

然后运行:

git bisect start
git bisect bad HEAD
git bisect good v1.4
git bisect run python ~/tools/eval_gate.py
git bisect reset

脚本中的退出码严格遵循 Git 的约定。0 表示好;1 到 127 中除 125 以外的值表示坏;125 表示该提交无法测试,Git 会跳过它;其他任何值都会中止整个 bisect 会话。

评测崩溃时返回 125,比看上去更重要。某个提交的配置文件里有语法错误,并不代表 Agent 回答得差;把它标为坏,会让整个搜索跑偏。

脚本里有两个小细节决定成败。评测用例必须冻结在仓库之外的固定路径,脚本本身也要放在仓库之外。因为 Git 每次检出旧提交时,工作区里的所有文件,包括测试集,都会回到旧版本。

那样你就是在用一把长度不断变化的尺子做测量。

bisect 只能找到历史里已有的东西

假设 bisect 跑完,指出提交 a3f9c1 是元凶,但这个提交一次改了系统提示词的五个部分。你只走完了一半。

下一步用的是和 git bisect 相同的算法,只是换了单位。按 Tian Pan 的说法,提示词的变更单位应当是 hunk:提示词某一部分里的一处连续修改。因此,把这个提交拆成若干 hunk,逐个应用到好版本上,在这一层级上继续 bisect。

更棘手的情况是 bisect 什么也没找到:每个提交得分都一样,今天的分数却仍低于上周。此时元凶可能根本不在你的仓库里,因为模型服务本身也会随时间变化。

Chen、Zaharia 和 Zou 的研究表明,“同一个” LLM 服务的行为可能在短时间内发生显著变化。

2023 年,GPT-4 在质数任务上的准确率从 3 月的 84.0% 降到 6 月的 51.1%;模型愿意回答的观点调查类问题占比从 97.6% 降到 22.1%。

对 FDE 来说,这种幅度的下滑会在仓库一行代码都没改的情况下拉低评测分数。只有拿到绑定在固定模型版本上的基线分数,才能看出下降来自服务商,而不是团队的提交。

如果服务商更换了模型,提示词历史不会给你任何线索。Tian Pan 建议在提示词版本与模型版本的组合上运行。一个实用的第一步是:保持提示词为好版本,切换到当前模型;再反过来做一次。这样在继续 bisect 之前,你就知道问题出在哪条轴上。

所以,从进驻客户的第一天起,就把带具体版本号的模型名写进已提交的配置文件,绝不用“latest”这类别名。数据也一样。

分块配置、索引版本和文档快照,都应在仓库中通过版本标识引用,让数据变更也成为可以 bisect 的提交。

让 bisect 说谎的错误

最常见的错误是随意跳过。Git 文档提醒:如果跳过了与元凶相邻的提交,Git 就无法准确指出哪个是第一个坏提交。所以只有评测确实无法运行时才返回 125;分数让人看不懂,不是跳过的理由。

另一个陷阱是阈值离某个标记太近,让噪声决定结果。开始之前,把好标记和坏标记各跑五次。如果两者的分数区间有重叠,说明评测集太小或噪声太大,不适合 bisect,需要先修好。

设想一下:好标记得分在 0.89 到 0.93 之间,坏标记在 0.70 到 0.74 之间,0.82 的阈值正好落在两者的空档里。但如果好标记的区间是 0.78 到 0.90,0.82 的阈值就落进了噪声范围,每一轮 bisect 都近乎抛硬币。

最后要记住,bisect 假设回归是单调的。如果一个提交拉低了分数,后来的另一个提交又意外把它拉了回来,bisect 只会告诉你其中一次转变,而不是全貌。

把这项技能变成简历上的证据

对客户来说,“提交 a3f9c1 的第三个 hunk 让分数从 0.91 降到 0.72,修复方案在这里”,远比“大概是提示词的问题”有说服力。对招聘经理也一样。

简历上写一句“使用自动化 bisect 配合重复评测,将 Agent 回归定位到单处提示词改动”,就能体现你懂 Git、懂评测、也懂 LLM 的非确定性。面试时,讲清楚一个这样的案例,包括 bisect 的轮数以及修复前后的分数。

每个 Agent 都会在某个时刻变差。手里有好坏判定脚本、历史版本又固定好的 FDE,大约六轮评测就能回答“为什么”。缺了这两样,就只剩下猜。

这篇文章对你有帮助吗?

4 个信源
路线图上的下一篇 · 阶段 6: 价值度量Z 分数可能漏掉过热轴承,中位数不会训练模型之前,先用中位数和 MAD 建一条基线,客户工程师离了你也能检查、调整和运行。