# 周五演示通过的 Agent，为何周一就出错

> pass@k 衡量能不能做到，pass^k 衡量每次能否做到，向客户汇报前要说清用的是哪一个。

原文: https://fdetimes.net/zh/guides/pass-at-k-vs-pass-power-k-agents/

周五演示时，处理发票的 Agent 把客户的十个样例任务全部跑通，没出一点差错。周一，同样的十个任务再跑一遍，有三个失败了。期间没有人改过一行代码。

客户的项目负责人提了一个再合理不过的问题：这个 Agent 到底有百分之多少的概率是对的？你可以给出三个不同的数字，每个在技术上都“正确”。选错了，就等于向客户承诺了系统并不具备的可靠性。

每个把 Agent 推向生产环境的前线部署工程师（FDE）都需要这项能力：清楚自己测的是能力还是可靠性，并在数字放上幻灯片之前把这一点讲明白。

## 两个听起来相似、其实不同的问题

Anthropic 对 pass@k 的定义是：Agent 在 k 次尝试中至少给出一个正确解的概率。它回答的问题是：给几次机会，Agent *能不能*完成这项工作？

pass^k 问的是另一件事。按照 Anthropic 的说法，它是 k 次尝试全部成功的概率。Google DeepMind 的 Phil Schmid 表述得更严格：Agent 必须在 k 次*独立*尝试中全部成功。这时的问题变成：Agent 是不是每次都能做对？

这个指标并不新。pass^k 出自 τ-bench 论文，作者是来自 Sierra 和普林斯顿的 Yao、Shinn、Razavi 和 Narasimhan，论文于 2024 年 6 月 17 日发布在 arXiv 上，用于衡量 Agent 在多次试验中的可靠性。Sierra 将其描述为：衡量 Agent 能否多次完成同一任务，而不只是完成一次。

随着 k 增大，两个指标朝相反方向变化。Anthropic 解释说，pass^k 下降，是因为要求多次运行保持一致是更高的门槛；而 pass@k 则会上升。

设想一个 Agent 每次运行的正确率是 80%，各次运行相互独立。k = 1 时，两个数字都是 80%。k = 3 时，pass@3 = 1 − 0.2³ = 99.2%，而 pass^3 = 0.8³ = 51.2%。

到 k = 5 时，pass@5 接近 100%（99.968%），pass^5 却降到 0.8⁵ ≈ 32.8%：同一个 Agent，按一个指标看近乎完美，按另一个指标看，做对的次数还不到三分之一。

## 一个跑五次的实例

回到发票 Agent。假设从客户那里取十个真实任务，每个任务跑五次，每次都在全新的会话中进行。记录下每个任务五次运行中做对了几次：

```python
results = {  # task_id: 5 次运行中正确的次数
    "T01": 5, "T02": 5, "T03": 5, "T04": 4, "T05": 4,
    "T06": 3, "T07": 5, "T08": 2, "T09": 5, "T10": 4,
}
n = k = 5

# pass@1：所有运行的平均成功率
pass_1 = sum(results.values()) / (len(results) * n)
# pass@5：至少有一次运行正确的任务占比
pass_at_k = sum(c > 0 for c in results.values()) / len(results)
# pass^5：5 次运行全部正确的任务占比
pass_pow_k = sum(c == n for c in results.values()) / len(results)

print(pass_1, pass_at_k, pass_pow_k)  # 0.84 1.0 0.5
```

每个数字回答的是各自的问题：

| 指标 | 回答的问题 | 结果 |
|---|---|---|
| pass@5 | Agent 至少能做对一次的任务有哪些？ | 100% |
| pass@1 | 任意单次运行中做对的比例是多少？ | 84% |
| pass^5 | Agent 每次都能做对的任务有哪些？ | 50% |

如果幻灯片上写着“100% 的任务成功”，你并没有撒谎。但客户会理解成 Agent 能处理所有发票，而实际上有一半的发票类型时不时会失败。任务 T08 五次里只对了两次，这才是客户需要看到的那一行。

τ-bench 的结果表明，这并非个例。Sierra 报告称，所有受测模型的表现都随 k 增大而显著下滑，说明它们缺乏一致性。

## 幻灯片上该放哪个数字？

Anthropic 建议根据产品性质选择指标：一次成功就够用的工具看 pass@k，需要保持一致的 Agent 看 pass^k。面向开发者的代码建议工具，用户会生成几个选项再自己挑一个，适合用 pass@k。自动回复客户投诉的 Agent 则不适合。

agentpatterns.ai 上的建议更直接：对于自动化流水线，应该关注 pass^k。只有在有人审核输出时，pass@k 才有意义，而且两个数字都应该报告。

**要点:** 对于无人审核、自动运行的 Agent，只有“每次都对”的那个数字才值得向客户承诺。

Phil Schmid 提醒，pass@k 可能让表现看起来比实际更好。他认为，对 Agent 而言，目标应该是衡量一致性，而不是最好成绩。在客户现场，稳妥的做法是把两个数字并排列出，并分别清楚标注为“能力”和“可靠性”。

## 在客户现场怎么做

先问客户：Agent 的输出在流转到下一步之前，有没有人审核？答案决定了主指标。有人审核，就以 pass@k 为主，pass^k 并列给出；没人审核，则反过来。

接着，用客户的真实数据构建任务集，包括他们经常抱怨的疑难情况。k 的取值要匹配真实风险：每天运行上千次的流程，需要比每周只运行几次的流程更大的 k。每个任务跑 k 次，按任务记录做对的次数，而不只是记录总体数字。

最后，按任务汇报。pass^k 低的任务就是你的待办清单：修改提示词、增加校验步骤，或者恰好在这个环节安排人工审核。客户看到的是风险具体在哪里，而不是一个平均值。

这项能力在面试中同样有用。简历上不要写“构建了准确率 90% 的 Agent”，而要写清楚你在多少个任务上、用多大的 k 测了 pass^k，以及是如何把它提上去的。如果岗位描述里提到评测（evals），提前准备好对 pass^k 的解释，并配上自己项目中的例子。

## 悄无声息扭曲数字的错误

最危险的错误是尝试之间并不独立。两个指标都假设它们相互独立。agentpatterns.ai 指出，如果评测框架共享上下文、随机种子或缓存，样本之间就会相关，得出的数字也就不再符合指标本身的定义。一个“五次全对”的 Agent，可能只是从缓存里读回了旧结果。

第二个错误是对无人值守的 Agent 只报告 pass@k，就像前面那张写着“100%”的幻灯片。第三个错误是每个任务只跑一次就称之为 pass@1，而单次运行根本无法反映方差。

最后一个错误，是把所有结果压成一个平均值，恰恰丢掉了 T08 这类客户需要知道的任务。

下次客户再问“Agent 有百分之多少的概率是对的？”，最好的回答是先反问一句：是对一次，还是每次都对？

**本周动手试试:**

- 取 10 个客户的真实任务，在重置上下文和缓存的前提下，每个任务运行 Agent 5 次，按任务记录做对的次数
- 用本文的代码计算 pass@1、pass@5 和 pass^5，再写一页幻灯片，解释三个数字为何不同
- 打开目前使用的评测框架，检查各次尝试之间是否共享上下文、随机种子或缓存

## 信源

- [Demystifying evals for AI agents](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents)

- [τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains](https://arxiv.org/abs/2406.12045)

- [τ-Bench: Benchmarking AI agents for the real-world](https://sierra.ai/blog/benchmarking-ai-agents)

- [Pass@k vs Pass^k: Understanding Agent Reliability](https://www.philschmid.de/agents-pass-at-k-pass-power-k)

- [pass@k and pass^k: Capability and Consistency Metrics](https://agentpatterns.ai/verification/pass-at-k-metrics/)
