# 90% 准确的 Agent，连续 8 次全对的概率只有 43%

> 在笔记本上跑 160 次试验，就能判断浏览器 Agent 是否可靠到能交给客户。

原文: https://fdetimes.net/zh/guides/measure-agent-reliability-pass-hat-k/

你的浏览器 Agent 刚刚当着客户的面填完一张订单，一次都没卡住。但客户要的不是它成功一次，而是在第 50 次运行、某个周一早上、没人盯着的时候也能成功。

τ-bench 提出 pass^k 指标，正是为了衡量这个差距：Agent 反复执行同一任务时到底有多可靠。结果显示，即使是 gpt-4o 这样强大的函数调用 Agent，任务成功率也不到 50%，而且表现相当不稳定：在零售领域，pass^8 低于 25%。

本指南介绍如何在笔记本上搭建这样一套基准测试：20 个任务，每个跑 8 次，共 160 次试验。做完之后，你会得到三个数字和一份失败类型清单，足以回答客户最常问的问题：“这能上线用了吗？”

## 为什么 90% 还不够

这两个指标经常被混为一谈，先把它们分清楚。pass@k 的规则是：k 次尝试中至少一次正确，任务就算通过。而根据 Anthropic 关于 Agent 评测的文章，pass^k 是 k 次尝试全部成功的概率。

算一下就清楚了。假设某个任务每次运行的成功率固定，且各次运行相互独立。那么 pass^8 就是这个成功率自乘 8 次，而 pass@8 几乎总能达到 100%：

| 每次运行的成功率 | pass@8 | pass^8 |
|---|---|---|
| 80% | 接近 100% | 0.8^8 ≈ 17% |
| 90% | 接近 100% | 0.9^8 ≈ 43% |
| 95% | 接近 100% | 0.95^8 ≈ 66% |

一个“十次对九次”的 Agent，演示时听起来没问题。可一旦连续跑八次，它能把整组任务全部做对的概率还不到一半。Anthropic 也指出，pass^k 会随 k 增大而下降，而对于面向客户的 Agent，这才是最重要的数字。

有一点需要说清楚：真实的失败很少是相互独立的。它们往往集中在同一个弹窗、同一个不稳定的步骤上，一次又一次地出错。所以 43% 只是示意，不是预测。真实的数字必须来自重复运行，还要看清哪些失败彼此相似，第 5 步做的就是这件事。

**要点:** 客户买的不是你表现最好的那一次，而是表现最差的那一次。

## 准备工作

你需要一个能用的浏览器 Agent，用什么框架搭建都行，再加上用来录制 trace 的 Playwright。你还需要一个状态可控的测试环境，比如客户应用的预发布副本，或者自带数据库的示例应用。不要在生产环境上测：你要跑 160 次试验，其中很多会失败。

## 第 1 步：编写 20 个任务，按最终状态评分

每个任务包含两部分：交给 Agent 的指令，以及一个检查函数。检查函数在试验结束时查看环境的最终状态，而不是 Agent 的回复。

以“修改订单 #1042 的收货地址”为例。不要因为 Agent 回复“更新完成”就判它通过，而要查询数据库，看这张订单的地址字段是否已改，以及有没有动到其他订单。下面是一个简化的骨架，`db` 是到测试环境的连接：

```python
def check_task_07(db):
    row = db.get_order(1042)
    return row["shipping_address"] == "12 Example St" and db.count_modified_orders() == 1
```

任务要从客户的真实工作中挑选，简单任务和多步骤任务搭配。20 个任务不算多，但足以看出哪些任务稳定，哪些只是碰巧成功。

**检查：**在未经改动的环境上运行所有检查函数，必须全部返回 `False`。如果某个函数一开始就返回 `True`，说明这个任务的评分有误。

## 第 2 步：每次试验都从干净环境开始

Anthropic 指出，Agent 的行为在不同运行之间会有差异：在一次评测中通过的任务，下一次可能失败。一项针对计算机操作 Agent 的独立研究也发现，即使任务和模型保持不变，结果同样如此，并建议通过重复运行来评测 Agent。

要让重复运行之间可比，每次试验都应从同一状态开始：如果第 3 次试验留下了 cookie、购物车或修改过的记录，第 4 次试验就是在另一个世界里测量。

具体做法取决于你的基础设施，通常包括把数据库恢复到快照、使用全新的浏览器配置文件、用测试账号重新登录。把难以重置的东西记下来，因为生产环境也会遇到它们。

**检查：**连续运行同一任务两次。如果第二次快得反常，或者跳过了登录步骤，说明环境不干净。

## 第 3 步：打开 tracing，跑 160 次试验

根据 Playwright 文档，默认配置只在失败测试第一次重试时录制 trace。而这套基准测试需要每次运行的 trace，包括成功的运行，以便对比。如果把每次试验封装成一个 Playwright 测试，就可以强制每次运行都开启 tracing：

```bash
npx playwright test --trace on
```

与此同时，你的测试框架把每次试验写成一行 JSON，包含 `task_id`、`trial` 和 `passed`（第 1 步中检查函数的结果），写入名为 `results.jsonl` 的文件。

**检查：**文件恰好有 160 行，每个 `task_id` 恰好出现 8 次。

## 第 4 步：从同一个文件算出三个数字

下面的脚本只用到 Python 标准库：

```python
import json
from collections import defaultdict

runs = defaultdict(list)
for line in open("results.jsonl"):
    r = json.loads(line)
    runs[r["task_id"]].append(r["passed"])

K = 8
tasks = list(runs.values())
pass1 = sum(sum(v[:K]) / K for v in tasks) / len(tasks)
pass_at_k = sum(any(v[:K]) for v in tasks) / len(tasks)
pass_hat_k = sum(all(v[:K]) for v in tasks) / len(tasks)
print(f"pass^1={pass1:.0%}  pass@8={pass_at_k:.0%}  pass^8={pass_hat_k:.0%}")
```

脚本直接按定义计数：8 次试验全部通过，任务才算通过 pass^8；至少一次通过，就算通过 pass^8 之外的 pass@8。设想一个 8 次中通过 7 次的任务：它在 pass@8 中算作完全通过，在 pass^8 中却得零分。

pass@8 和 pass^8 之间的差距，就是你的工作清单。这些任务 Agent 已经会做，只是还做不到稳定。

## 第 5 步：阅读失败运行的 trace

数字告诉你 Agent 失败得有多频繁，trace 告诉你为什么失败。Playwright 的 Trace Viewer 是一个图形化工具，可以打开并回放录制的 trace。你可以把同一任务的一次失败运行和一次成功运行并排对比，找出两者第一次出现分歧的步骤。

Anthropic 认为，阅读运行记录是确认评测是否测到了该测内容的方法。

把每次失败记录在“失败类型”一栏。事先知道要找什么会很有帮助。BrowserArena 在真实网页上测试 Agent，发现了三类反复出现的失败：解验证码、关闭弹窗横幅，以及直接导航到某个 URL。

按类型对失败分组，找出反复出现的原因，然后从最大的那一组开始修。这里也能看出，为什么开头的乘法只是示意：一个弹窗就能让一整批试验以同样的方式失败。

## 第 6 步：故意让环境变差

你的预发布环境比真实网页干净。WAREX 在现有的网页 Agent 基准测试中注入了贴近现实的不稳定因素，发现成功率显著下降。ReliabilityBench 同样报告，仅输入噪声一项，就让成功率从 ε=0 时的 96.9% 降到 ε=0.2 时的 88.1%。

你可以做一个简化版：在测试环境中加一段脚本，几秒后弹出 cookie 弹窗，或者让某个 API 对一小部分请求返回错误。

在变差的环境上再跑一遍 160 次试验，把 pass^8 与上一轮对比。两者之间的落差，就是任何演示都不会让你看到的鲁棒性指标。

## 让数字虚高的三个陷阱

不要按 Agent 的自我报告评分：一句“完成了”不能证明最终状态正确，始终要让第 1 步的检查函数来判定。

也不要让 8 次试验共用同一个浏览器会话，因为后面的试验会沾前面试验的光。还有，不要只报告 pass@k：按定义，它永远是三个数字中最高的。

## 这项技能在客户现场的用处

在项目中，这张三个数字的表格，就是你带去决定 Agent 是否上生产环境那场会议的材料。与其说“Agent 效果还不错”，不如说清楚哪些任务做到了 8/8，哪些只有 5/8，以及原因是什么。这句话能帮客户决定在哪一步保留人工审核。

在前线部署工程师（FDE）的简历上或面试中，就把这个过程讲清楚：多少个任务、多少次试验，以及修复各类失败前后的 pass^k。如果岗位描述提到评测或可靠性，这就是你应该首先讲的故事。

演示让客户看到 Agent 能做什么，160 次运行则让他们看到，没人盯着的时候它会怎么做。

**本周动手试试:**

- 挑选 Agent 正在执行的 20 个真实任务，为每个任务编写一个检查最终状态的函数。
- 用 --trace on 把每个任务跑 8 次，再用本文的脚本算出 pass^8。
- 打开前三次失败运行的 trace，记下每次的失败类型。

## 信源

- [τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains](https://arxiv.org/abs/2406.12045)

- [Demystifying evals for AI agents](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents)

- [BrowserArena: Evaluating LLM Agents on Real-World Web Navigation Tasks](https://arxiv.org/abs/2510.02418)

- [WAREX: Web Agent Reliability Evaluation on Existing Benchmarks](https://arxiv.org/abs/2510.03285)

- [Trace viewer | Playwright](https://playwright.dev/docs/trace-viewer-intro)

- [On the Reliability of Computer Use Agents](https://arxiv.org/abs/2604.17849)

- [ReliabilityBench: Evaluating LLM Agent Reliability Under Production-Like Stress Conditions](https://arxiv.org/abs/2601.06112)
