FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

周五演示通过的 Agent,为何周一就出错

pass@k 衡量能不能做到,pass^k 衡量每次能否做到,向客户汇报前要说清用的是哪一个。

分享微博

要点速览

  • pass@k 问的是 Agent 能否至少完成一次任务;pass^k 问的是它能否每次都做对。
  • k 增大时,pass@k 上升、pass^k 下降,只报告 pass@k 会掩盖 Agent 的不稳定。
  • 无人审核、自动运行的 Agent 必须报告 pass^k,而且各次运行之间必须真正相互独立。
横向条形图,对比发票 Agent 在同样十个任务上、每个任务运行五次得到的三个指标:pass@5 为 100%,pass@1 为 84%,而 pass^5(每次运行都成功的任务占比)只有 50%,该条以橙色突出显示。
同一组结果可以得出三个不同的数字。对于无人审核、自动运行的 Agent,值得向客户承诺的是 pass^5。来源:文中示例,10 个任务各运行 5 次。

周五演示时,处理发票的 Agent 把客户的十个样例任务全部跑通,没出一点差错。周一,同样的十个任务再跑一遍,有三个失败了。期间没有人改过一行代码。

客户的项目负责人提了一个再合理不过的问题:这个 Agent 到底有百分之多少的概率是对的?你可以给出三个不同的数字,每个在技术上都“正确”。选错了,就等于向客户承诺了系统并不具备的可靠性。

每个把 Agent 推向生产环境的前线部署工程师(FDE)都需要这项能力:清楚自己测的是能力还是可靠性,并在数字放上幻灯片之前把这一点讲明白。

两个听起来相似、其实不同的问题

Anthropic 对 pass@k 的定义是:Agent 在 k 次尝试中至少给出一个正确解的概率。它回答的问题是:给几次机会,Agent 能不能完成这项工作?

pass^k 问的是另一件事。按照 Anthropic 的说法,它是 k 次尝试全部成功的概率。Google DeepMind 的 Phil Schmid 表述得更严格:Agent 必须在 k 次独立尝试中全部成功。这时的问题变成:Agent 是不是每次都能做对?

这个指标并不新。pass^k 出自 τ-bench 论文,作者是来自 Sierra 和普林斯顿的 Yao、Shinn、Razavi 和 Narasimhan,论文于 2024 年 6 月 17 日发布在 arXiv 上,用于衡量 Agent 在多次试验中的可靠性。Sierra 将其描述为:衡量 Agent 能否多次完成同一任务,而不只是完成一次。

随着 k 增大,两个指标朝相反方向变化。Anthropic 解释说,pass^k 下降,是因为要求多次运行保持一致是更高的门槛;而 pass@k 则会上升。

设想一个 Agent 每次运行的正确率是 80%,各次运行相互独立。k = 1 时,两个数字都是 80%。k = 3 时,pass@3 = 1 − 0.2³ = 99.2%,而 pass^3 = 0.8³ = 51.2%。

到 k = 5 时,pass@5 接近 100%(99.968%),pass^5 却降到 0.8⁵ ≈ 32.8%:同一个 Agent,按一个指标看近乎完美,按另一个指标看,做对的次数还不到三分之一。

一个跑五次的实例

回到发票 Agent。假设从客户那里取十个真实任务,每个任务跑五次,每次都在全新的会话中进行。记录下每个任务五次运行中做对了几次:

results = {  # task_id: 5 次运行中正确的次数
    "T01": 5, "T02": 5, "T03": 5, "T04": 4, "T05": 4,
    "T06": 3, "T07": 5, "T08": 2, "T09": 5, "T10": 4,
}
n = k = 5

# pass@1:所有运行的平均成功率
pass_1 = sum(results.values()) / (len(results) * n)
# pass@5:至少有一次运行正确的任务占比
pass_at_k = sum(c > 0 for c in results.values()) / len(results)
# pass^5:5 次运行全部正确的任务占比
pass_pow_k = sum(c == n for c in results.values()) / len(results)

print(pass_1, pass_at_k, pass_pow_k)  # 0.84 1.0 0.5

每个数字回答的是各自的问题:

指标 回答的问题 结果
pass@5 Agent 至少能做对一次的任务有哪些? 100%
pass@1 任意单次运行中做对的比例是多少? 84%
pass^5 Agent 每次都能做对的任务有哪些? 50%

如果幻灯片上写着“100% 的任务成功”,你并没有撒谎。但客户会理解成 Agent 能处理所有发票,而实际上有一半的发票类型时不时会失败。任务 T08 五次里只对了两次,这才是客户需要看到的那一行。

τ-bench 的结果表明,这并非个例。Sierra 报告称,所有受测模型的表现都随 k 增大而显著下滑,说明它们缺乏一致性。

幻灯片上该放哪个数字?

Anthropic 建议根据产品性质选择指标:一次成功就够用的工具看 pass@k,需要保持一致的 Agent 看 pass^k。面向开发者的代码建议工具,用户会生成几个选项再自己挑一个,适合用 pass@k。自动回复客户投诉的 Agent 则不适合。

agentpatterns.ai 上的建议更直接:对于自动化流水线,应该关注 pass^k。只有在有人审核输出时,pass@k 才有意义,而且两个数字都应该报告。

Phil Schmid 提醒,pass@k 可能让表现看起来比实际更好。他认为,对 Agent 而言,目标应该是衡量一致性,而不是最好成绩。在客户现场,稳妥的做法是把两个数字并排列出,并分别清楚标注为“能力”和“可靠性”。

在客户现场怎么做

先问客户:Agent 的输出在流转到下一步之前,有没有人审核?答案决定了主指标。有人审核,就以 pass@k 为主,pass^k 并列给出;没人审核,则反过来。

接着,用客户的真实数据构建任务集,包括他们经常抱怨的疑难情况。k 的取值要匹配真实风险:每天运行上千次的流程,需要比每周只运行几次的流程更大的 k。每个任务跑 k 次,按任务记录做对的次数,而不只是记录总体数字。

最后,按任务汇报。pass^k 低的任务就是你的待办清单:修改提示词、增加校验步骤,或者恰好在这个环节安排人工审核。客户看到的是风险具体在哪里,而不是一个平均值。

这项能力在面试中同样有用。简历上不要写“构建了准确率 90% 的 Agent”,而要写清楚你在多少个任务上、用多大的 k 测了 pass^k,以及是如何把它提上去的。如果岗位描述里提到评测(evals),提前准备好对 pass^k 的解释,并配上自己项目中的例子。

悄无声息扭曲数字的错误

最危险的错误是尝试之间并不独立。两个指标都假设它们相互独立。agentpatterns.ai 指出,如果评测框架共享上下文、随机种子或缓存,样本之间就会相关,得出的数字也就不再符合指标本身的定义。一个“五次全对”的 Agent,可能只是从缓存里读回了旧结果。

第二个错误是对无人值守的 Agent 只报告 pass@k,就像前面那张写着“100%”的幻灯片。第三个错误是每个任务只跑一次就称之为 pass@1,而单次运行根本无法反映方差。

最后一个错误,是把所有结果压成一个平均值,恰恰丢掉了 T08 这类客户需要知道的任务。

下次客户再问“Agent 有百分之多少的概率是对的?”,最好的回答是先反问一句:是对一次,还是每次都对?

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 6: 价值度量没有内推,就直接写信给招聘经理ERE引用的调查显示工程师最常回复招聘经理;信要贴近对方工作,再附一个生产环境运行的项目链接。