周五演示通过的 Agent,为何周一就出错
pass@k 衡量能不能做到,pass^k 衡量每次能否做到,向客户汇报前要说清用的是哪一个。
要点速览
- pass@k 问的是 Agent 能否至少完成一次任务;pass^k 问的是它能否每次都做对。
- k 增大时,pass@k 上升、pass^k 下降,只报告 pass@k 会掩盖 Agent 的不稳定。
- 无人审核、自动运行的 Agent 必须报告 pass^k,而且各次运行之间必须真正相互独立。
周五演示时,处理发票的 Agent 把客户的十个样例任务全部跑通,没出一点差错。周一,同样的十个任务再跑一遍,有三个失败了。期间没有人改过一行代码。
客户的项目负责人提了一个再合理不过的问题:这个 Agent 到底有百分之多少的概率是对的?你可以给出三个不同的数字,每个在技术上都“正确”。选错了,就等于向客户承诺了系统并不具备的可靠性。
每个把 Agent 推向生产环境的前线部署工程师(FDE)都需要这项能力:清楚自己测的是能力还是可靠性,并在数字放上幻灯片之前把这一点讲明白。
两个听起来相似、其实不同的问题
Anthropic 对 pass@k 的定义是:Agent 在 k 次尝试中至少给出一个正确解的概率。它回答的问题是:给几次机会,Agent 能不能完成这项工作?
pass^k 问的是另一件事。按照 Anthropic 的说法,它是 k 次尝试全部成功的概率。Google DeepMind 的 Phil Schmid 表述得更严格:Agent 必须在 k 次独立尝试中全部成功。这时的问题变成:Agent 是不是每次都能做对?
这个指标并不新。pass^k 出自 τ-bench 论文,作者是来自 Sierra 和普林斯顿的 Yao、Shinn、Razavi 和 Narasimhan,论文于 2024 年 6 月 17 日发布在 arXiv 上,用于衡量 Agent 在多次试验中的可靠性。Sierra 将其描述为:衡量 Agent 能否多次完成同一任务,而不只是完成一次。
随着 k 增大,两个指标朝相反方向变化。Anthropic 解释说,pass^k 下降,是因为要求多次运行保持一致是更高的门槛;而 pass@k 则会上升。
设想一个 Agent 每次运行的正确率是 80%,各次运行相互独立。k = 1 时,两个数字都是 80%。k = 3 时,pass@3 = 1 − 0.2³ = 99.2%,而 pass^3 = 0.8³ = 51.2%。
到 k = 5 时,pass@5 接近 100%(99.968%),pass^5 却降到 0.8⁵ ≈ 32.8%:同一个 Agent,按一个指标看近乎完美,按另一个指标看,做对的次数还不到三分之一。
一个跑五次的实例
回到发票 Agent。假设从客户那里取十个真实任务,每个任务跑五次,每次都在全新的会话中进行。记录下每个任务五次运行中做对了几次:
results = { # task_id: 5 次运行中正确的次数
"T01": 5, "T02": 5, "T03": 5, "T04": 4, "T05": 4,
"T06": 3, "T07": 5, "T08": 2, "T09": 5, "T10": 4,
}
n = k = 5
# pass@1:所有运行的平均成功率
pass_1 = sum(results.values()) / (len(results) * n)
# pass@5:至少有一次运行正确的任务占比
pass_at_k = sum(c > 0 for c in results.values()) / len(results)
# pass^5:5 次运行全部正确的任务占比
pass_pow_k = sum(c == n for c in results.values()) / len(results)
print(pass_1, pass_at_k, pass_pow_k) # 0.84 1.0 0.5
每个数字回答的是各自的问题:
| 指标 | 回答的问题 | 结果 |
|---|---|---|
| pass@5 | Agent 至少能做对一次的任务有哪些? | 100% |
| pass@1 | 任意单次运行中做对的比例是多少? | 84% |
| pass^5 | Agent 每次都能做对的任务有哪些? | 50% |
如果幻灯片上写着“100% 的任务成功”,你并没有撒谎。但客户会理解成 Agent 能处理所有发票,而实际上有一半的发票类型时不时会失败。任务 T08 五次里只对了两次,这才是客户需要看到的那一行。
τ-bench 的结果表明,这并非个例。Sierra 报告称,所有受测模型的表现都随 k 增大而显著下滑,说明它们缺乏一致性。
幻灯片上该放哪个数字?
Anthropic 建议根据产品性质选择指标:一次成功就够用的工具看 pass@k,需要保持一致的 Agent 看 pass^k。面向开发者的代码建议工具,用户会生成几个选项再自己挑一个,适合用 pass@k。自动回复客户投诉的 Agent 则不适合。
agentpatterns.ai 上的建议更直接:对于自动化流水线,应该关注 pass^k。只有在有人审核输出时,pass@k 才有意义,而且两个数字都应该报告。
Phil Schmid 提醒,pass@k 可能让表现看起来比实际更好。他认为,对 Agent 而言,目标应该是衡量一致性,而不是最好成绩。在客户现场,稳妥的做法是把两个数字并排列出,并分别清楚标注为“能力”和“可靠性”。
在客户现场怎么做
先问客户:Agent 的输出在流转到下一步之前,有没有人审核?答案决定了主指标。有人审核,就以 pass@k 为主,pass^k 并列给出;没人审核,则反过来。
接着,用客户的真实数据构建任务集,包括他们经常抱怨的疑难情况。k 的取值要匹配真实风险:每天运行上千次的流程,需要比每周只运行几次的流程更大的 k。每个任务跑 k 次,按任务记录做对的次数,而不只是记录总体数字。
最后,按任务汇报。pass^k 低的任务就是你的待办清单:修改提示词、增加校验步骤,或者恰好在这个环节安排人工审核。客户看到的是风险具体在哪里,而不是一个平均值。
这项能力在面试中同样有用。简历上不要写“构建了准确率 90% 的 Agent”,而要写清楚你在多少个任务上、用多大的 k 测了 pass^k,以及是如何把它提上去的。如果岗位描述里提到评测(evals),提前准备好对 pass^k 的解释,并配上自己项目中的例子。
悄无声息扭曲数字的错误
最危险的错误是尝试之间并不独立。两个指标都假设它们相互独立。agentpatterns.ai 指出,如果评测框架共享上下文、随机种子或缓存,样本之间就会相关,得出的数字也就不再符合指标本身的定义。一个“五次全对”的 Agent,可能只是从缓存里读回了旧结果。
第二个错误是对无人值守的 Agent 只报告 pass@k,就像前面那张写着“100%”的幻灯片。第三个错误是每个任务只跑一次就称之为 pass@1,而单次运行根本无法反映方差。
最后一个错误,是把所有结果压成一个平均值,恰恰丢掉了 T08 这类客户需要知道的任务。
下次客户再问“Agent 有百分之多少的概率是对的?”,最好的回答是先反问一句:是对一次,还是每次都对?
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- Demystifying evals for AI agents · 2026-01-09
- τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains · 2024-06-17
- τ-Bench: Benchmarking AI agents for the real-world · 2024-06-20
- Pass@k vs Pass^k: Understanding Agent Reliability · 2025-03-24
- pass@k and pass^k: Capability and Consistency Metrics · 2026-06-12