90% 准确的 Agent,连续 8 次全对的概率只有 43%
在笔记本上跑 160 次试验,就能判断浏览器 Agent 是否可靠到能交给客户。
要点速览
- 如果每次运行的成功率是 90%,且各次运行相互独立,连续 8 次全部成功的概率只有约 43%。
- τ-bench 发现,即使是强大的 Agent,在零售领域的 pass^8 也低于 25%。
- 每次试验都用干净环境、按最终状态评分、打开 trace,这三个条件缺一不可,数字才可信。
你的浏览器 Agent 刚刚当着客户的面填完一张订单,一次都没卡住。但客户要的不是它成功一次,而是在第 50 次运行、某个周一早上、没人盯着的时候也能成功。
τ-bench 提出 pass^k 指标,正是为了衡量这个差距:Agent 反复执行同一任务时到底有多可靠。结果显示,即使是 gpt-4o 这样强大的函数调用 Agent,任务成功率也不到 50%,而且表现相当不稳定:在零售领域,pass^8 低于 25%。
本指南介绍如何在笔记本上搭建这样一套基准测试:20 个任务,每个跑 8 次,共 160 次试验。做完之后,你会得到三个数字和一份失败类型清单,足以回答客户最常问的问题:“这能上线用了吗?”
为什么 90% 还不够
这两个指标经常被混为一谈,先把它们分清楚。pass@k 的规则是:k 次尝试中至少一次正确,任务就算通过。而根据 Anthropic 关于 Agent 评测的文章,pass^k 是 k 次尝试全部成功的概率。
算一下就清楚了。假设某个任务每次运行的成功率固定,且各次运行相互独立。那么 pass^8 就是这个成功率自乘 8 次,而 pass@8 几乎总能达到 100%:
| 每次运行的成功率 | pass@8 | pass^8 |
|---|---|---|
| 80% | 接近 100% | 0.8^8 ≈ 17% |
| 90% | 接近 100% | 0.9^8 ≈ 43% |
| 95% | 接近 100% | 0.95^8 ≈ 66% |
一个“十次对九次”的 Agent,演示时听起来没问题。可一旦连续跑八次,它能把整组任务全部做对的概率还不到一半。Anthropic 也指出,pass^k 会随 k 增大而下降,而对于面向客户的 Agent,这才是最重要的数字。
有一点需要说清楚:真实的失败很少是相互独立的。它们往往集中在同一个弹窗、同一个不稳定的步骤上,一次又一次地出错。所以 43% 只是示意,不是预测。真实的数字必须来自重复运行,还要看清哪些失败彼此相似,第 5 步做的就是这件事。
准备工作
你需要一个能用的浏览器 Agent,用什么框架搭建都行,再加上用来录制 trace 的 Playwright。你还需要一个状态可控的测试环境,比如客户应用的预发布副本,或者自带数据库的示例应用。不要在生产环境上测:你要跑 160 次试验,其中很多会失败。
第 1 步:编写 20 个任务,按最终状态评分
每个任务包含两部分:交给 Agent 的指令,以及一个检查函数。检查函数在试验结束时查看环境的最终状态,而不是 Agent 的回复。
以“修改订单 #1042 的收货地址”为例。不要因为 Agent 回复“更新完成”就判它通过,而要查询数据库,看这张订单的地址字段是否已改,以及有没有动到其他订单。下面是一个简化的骨架,db 是到测试环境的连接:
def check_task_07(db):
row = db.get_order(1042)
return row["shipping_address"] == "12 Example St" and db.count_modified_orders() == 1
任务要从客户的真实工作中挑选,简单任务和多步骤任务搭配。20 个任务不算多,但足以看出哪些任务稳定,哪些只是碰巧成功。
**检查:**在未经改动的环境上运行所有检查函数,必须全部返回 False。如果某个函数一开始就返回 True,说明这个任务的评分有误。
第 2 步:每次试验都从干净环境开始
Anthropic 指出,Agent 的行为在不同运行之间会有差异:在一次评测中通过的任务,下一次可能失败。一项针对计算机操作 Agent 的独立研究也发现,即使任务和模型保持不变,结果同样如此,并建议通过重复运行来评测 Agent。
要让重复运行之间可比,每次试验都应从同一状态开始:如果第 3 次试验留下了 cookie、购物车或修改过的记录,第 4 次试验就是在另一个世界里测量。
具体做法取决于你的基础设施,通常包括把数据库恢复到快照、使用全新的浏览器配置文件、用测试账号重新登录。把难以重置的东西记下来,因为生产环境也会遇到它们。
**检查:**连续运行同一任务两次。如果第二次快得反常,或者跳过了登录步骤,说明环境不干净。
第 3 步:打开 tracing,跑 160 次试验
根据 Playwright 文档,默认配置只在失败测试第一次重试时录制 trace。而这套基准测试需要每次运行的 trace,包括成功的运行,以便对比。如果把每次试验封装成一个 Playwright 测试,就可以强制每次运行都开启 tracing:
npx playwright test --trace on
与此同时,你的测试框架把每次试验写成一行 JSON,包含 task_id、trial 和 passed(第 1 步中检查函数的结果),写入名为 results.jsonl 的文件。
**检查:**文件恰好有 160 行,每个 task_id 恰好出现 8 次。
第 4 步:从同一个文件算出三个数字
下面的脚本只用到 Python 标准库:
import json
from collections import defaultdict
runs = defaultdict(list)
for line in open("results.jsonl"):
r = json.loads(line)
runs[r["task_id"]].append(r["passed"])
K = 8
tasks = list(runs.values())
pass1 = sum(sum(v[:K]) / K for v in tasks) / len(tasks)
pass_at_k = sum(any(v[:K]) for v in tasks) / len(tasks)
pass_hat_k = sum(all(v[:K]) for v in tasks) / len(tasks)
print(f"pass^1={pass1:.0%} pass@8={pass_at_k:.0%} pass^8={pass_hat_k:.0%}")
脚本直接按定义计数:8 次试验全部通过,任务才算通过 pass^8;至少一次通过,就算通过 pass^8 之外的 pass@8。设想一个 8 次中通过 7 次的任务:它在 pass@8 中算作完全通过,在 pass^8 中却得零分。
pass@8 和 pass^8 之间的差距,就是你的工作清单。这些任务 Agent 已经会做,只是还做不到稳定。
第 5 步:阅读失败运行的 trace
数字告诉你 Agent 失败得有多频繁,trace 告诉你为什么失败。Playwright 的 Trace Viewer 是一个图形化工具,可以打开并回放录制的 trace。你可以把同一任务的一次失败运行和一次成功运行并排对比,找出两者第一次出现分歧的步骤。
Anthropic 认为,阅读运行记录是确认评测是否测到了该测内容的方法。
把每次失败记录在“失败类型”一栏。事先知道要找什么会很有帮助。BrowserArena 在真实网页上测试 Agent,发现了三类反复出现的失败:解验证码、关闭弹窗横幅,以及直接导航到某个 URL。
按类型对失败分组,找出反复出现的原因,然后从最大的那一组开始修。这里也能看出,为什么开头的乘法只是示意:一个弹窗就能让一整批试验以同样的方式失败。
第 6 步:故意让环境变差
你的预发布环境比真实网页干净。WAREX 在现有的网页 Agent 基准测试中注入了贴近现实的不稳定因素,发现成功率显著下降。ReliabilityBench 同样报告,仅输入噪声一项,就让成功率从 ε=0 时的 96.9% 降到 ε=0.2 时的 88.1%。
你可以做一个简化版:在测试环境中加一段脚本,几秒后弹出 cookie 弹窗,或者让某个 API 对一小部分请求返回错误。
在变差的环境上再跑一遍 160 次试验,把 pass^8 与上一轮对比。两者之间的落差,就是任何演示都不会让你看到的鲁棒性指标。
让数字虚高的三个陷阱
不要按 Agent 的自我报告评分:一句“完成了”不能证明最终状态正确,始终要让第 1 步的检查函数来判定。
也不要让 8 次试验共用同一个浏览器会话,因为后面的试验会沾前面试验的光。还有,不要只报告 pass@k:按定义,它永远是三个数字中最高的。
这项技能在客户现场的用处
在项目中,这张三个数字的表格,就是你带去决定 Agent 是否上生产环境那场会议的材料。与其说“Agent 效果还不错”,不如说清楚哪些任务做到了 8/8,哪些只有 5/8,以及原因是什么。这句话能帮客户决定在哪一步保留人工审核。
在前线部署工程师(FDE)的简历上或面试中,就把这个过程讲清楚:多少个任务、多少次试验,以及修复各类失败前后的 pass^k。如果岗位描述提到评测或可靠性,这就是你应该首先讲的故事。
演示让客户看到 Agent 能做什么,160 次运行则让他们看到,没人盯着的时候它会怎么做。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains · 2024-06-17
- Demystifying evals for AI agents · 2026-01-09
- BrowserArena: Evaluating LLM Agents on Real-World Web Navigation Tasks · 2025-10-02
- WAREX: Web Agent Reliability Evaluation on Existing Benchmarks · 2025-09-28
- Trace viewer | Playwright
- On the Reliability of Computer Use Agents · 2026-04-20
- ReliabilityBench: Evaluating LLM Agent Reliability Under Production-Like Stress Conditions · 2026-01-03