FDE Times 数据在招 FDE 职位 873▼9 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 181支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

90% 准确的 Agent,连续 8 次全对的概率只有 43%

在笔记本上跑 160 次试验,就能判断浏览器 Agent 是否可靠到能交给客户。

分享微博

要点速览

  • 如果每次运行的成功率是 90%,且各次运行相互独立,连续 8 次全部成功的概率只有约 43%。
  • τ-bench 发现,即使是强大的 Agent,在零售领域的 pass^8 也低于 25%。
  • 每次试验都用干净环境、按最终状态评分、打开 trace,这三个条件缺一不可,数字才可信。
斜率图,展示每次运行的成功率与连续八次运行后的 pass^8:95% 降到 66%,90% 降到 43%(高亮显示),80% 降到 17%。
在假设各次运行相互独立的前提下,单次运行准确率很高,但八次全部正确的概率(pass^8)要低得多。来源:本文计算,依据 Anthropic 关于 Agent 评测文章中的 pass^k 定义。

你的浏览器 Agent 刚刚当着客户的面填完一张订单,一次都没卡住。但客户要的不是它成功一次,而是在第 50 次运行、某个周一早上、没人盯着的时候也能成功。

τ-bench 提出 pass^k 指标,正是为了衡量这个差距:Agent 反复执行同一任务时到底有多可靠。结果显示,即使是 gpt-4o 这样强大的函数调用 Agent,任务成功率也不到 50%,而且表现相当不稳定:在零售领域,pass^8 低于 25%。

本指南介绍如何在笔记本上搭建这样一套基准测试:20 个任务,每个跑 8 次,共 160 次试验。做完之后,你会得到三个数字和一份失败类型清单,足以回答客户最常问的问题:“这能上线用了吗?”

为什么 90% 还不够

这两个指标经常被混为一谈,先把它们分清楚。pass@k 的规则是:k 次尝试中至少一次正确,任务就算通过。而根据 Anthropic 关于 Agent 评测的文章,pass^k 是 k 次尝试全部成功的概率。

算一下就清楚了。假设某个任务每次运行的成功率固定,且各次运行相互独立。那么 pass^8 就是这个成功率自乘 8 次,而 pass@8 几乎总能达到 100%:

每次运行的成功率 pass@8 pass^8
80% 接近 100% 0.8^8 ≈ 17%
90% 接近 100% 0.9^8 ≈ 43%
95% 接近 100% 0.95^8 ≈ 66%

一个“十次对九次”的 Agent,演示时听起来没问题。可一旦连续跑八次,它能把整组任务全部做对的概率还不到一半。Anthropic 也指出,pass^k 会随 k 增大而下降,而对于面向客户的 Agent,这才是最重要的数字。

有一点需要说清楚:真实的失败很少是相互独立的。它们往往集中在同一个弹窗、同一个不稳定的步骤上,一次又一次地出错。所以 43% 只是示意,不是预测。真实的数字必须来自重复运行,还要看清哪些失败彼此相似,第 5 步做的就是这件事。

准备工作

你需要一个能用的浏览器 Agent,用什么框架搭建都行,再加上用来录制 trace 的 Playwright。你还需要一个状态可控的测试环境,比如客户应用的预发布副本,或者自带数据库的示例应用。不要在生产环境上测:你要跑 160 次试验,其中很多会失败。

第 1 步:编写 20 个任务,按最终状态评分

每个任务包含两部分:交给 Agent 的指令,以及一个检查函数。检查函数在试验结束时查看环境的最终状态,而不是 Agent 的回复。

以“修改订单 #1042 的收货地址”为例。不要因为 Agent 回复“更新完成”就判它通过,而要查询数据库,看这张订单的地址字段是否已改,以及有没有动到其他订单。下面是一个简化的骨架,db 是到测试环境的连接:

def check_task_07(db):
    row = db.get_order(1042)
    return row["shipping_address"] == "12 Example St" and db.count_modified_orders() == 1

任务要从客户的真实工作中挑选,简单任务和多步骤任务搭配。20 个任务不算多,但足以看出哪些任务稳定,哪些只是碰巧成功。

**检查:**在未经改动的环境上运行所有检查函数,必须全部返回 False。如果某个函数一开始就返回 True,说明这个任务的评分有误。

第 2 步:每次试验都从干净环境开始

Anthropic 指出,Agent 的行为在不同运行之间会有差异:在一次评测中通过的任务,下一次可能失败。一项针对计算机操作 Agent 的独立研究也发现,即使任务和模型保持不变,结果同样如此,并建议通过重复运行来评测 Agent。

要让重复运行之间可比,每次试验都应从同一状态开始:如果第 3 次试验留下了 cookie、购物车或修改过的记录,第 4 次试验就是在另一个世界里测量。

具体做法取决于你的基础设施,通常包括把数据库恢复到快照、使用全新的浏览器配置文件、用测试账号重新登录。把难以重置的东西记下来,因为生产环境也会遇到它们。

**检查:**连续运行同一任务两次。如果第二次快得反常,或者跳过了登录步骤,说明环境不干净。

第 3 步:打开 tracing,跑 160 次试验

根据 Playwright 文档,默认配置只在失败测试第一次重试时录制 trace。而这套基准测试需要每次运行的 trace,包括成功的运行,以便对比。如果把每次试验封装成一个 Playwright 测试,就可以强制每次运行都开启 tracing:

npx playwright test --trace on

与此同时,你的测试框架把每次试验写成一行 JSON,包含 task_id、trial 和 passed(第 1 步中检查函数的结果),写入名为 results.jsonl 的文件。

**检查:**文件恰好有 160 行,每个 task_id 恰好出现 8 次。

第 4 步:从同一个文件算出三个数字

下面的脚本只用到 Python 标准库:

import json
from collections import defaultdict

runs = defaultdict(list)
for line in open("results.jsonl"):
    r = json.loads(line)
    runs[r["task_id"]].append(r["passed"])

K = 8
tasks = list(runs.values())
pass1 = sum(sum(v[:K]) / K for v in tasks) / len(tasks)
pass_at_k = sum(any(v[:K]) for v in tasks) / len(tasks)
pass_hat_k = sum(all(v[:K]) for v in tasks) / len(tasks)
print(f"pass^1={pass1:.0%}  pass@8={pass_at_k:.0%}  pass^8={pass_hat_k:.0%}")

脚本直接按定义计数:8 次试验全部通过,任务才算通过 pass^8;至少一次通过,就算通过 pass^8 之外的 pass@8。设想一个 8 次中通过 7 次的任务:它在 pass@8 中算作完全通过,在 pass^8 中却得零分。

pass@8 和 pass^8 之间的差距,就是你的工作清单。这些任务 Agent 已经会做,只是还做不到稳定。

第 5 步:阅读失败运行的 trace

数字告诉你 Agent 失败得有多频繁,trace 告诉你为什么失败。Playwright 的 Trace Viewer 是一个图形化工具,可以打开并回放录制的 trace。你可以把同一任务的一次失败运行和一次成功运行并排对比,找出两者第一次出现分歧的步骤。

Anthropic 认为,阅读运行记录是确认评测是否测到了该测内容的方法。

把每次失败记录在“失败类型”一栏。事先知道要找什么会很有帮助。BrowserArena 在真实网页上测试 Agent,发现了三类反复出现的失败:解验证码、关闭弹窗横幅,以及直接导航到某个 URL。

按类型对失败分组,找出反复出现的原因,然后从最大的那一组开始修。这里也能看出,为什么开头的乘法只是示意:一个弹窗就能让一整批试验以同样的方式失败。

第 6 步:故意让环境变差

你的预发布环境比真实网页干净。WAREX 在现有的网页 Agent 基准测试中注入了贴近现实的不稳定因素,发现成功率显著下降。ReliabilityBench 同样报告,仅输入噪声一项,就让成功率从 ε=0 时的 96.9% 降到 ε=0.2 时的 88.1%。

你可以做一个简化版:在测试环境中加一段脚本,几秒后弹出 cookie 弹窗,或者让某个 API 对一小部分请求返回错误。

在变差的环境上再跑一遍 160 次试验,把 pass^8 与上一轮对比。两者之间的落差,就是任何演示都不会让你看到的鲁棒性指标。

让数字虚高的三个陷阱

不要按 Agent 的自我报告评分:一句“完成了”不能证明最终状态正确,始终要让第 1 步的检查函数来判定。

也不要让 8 次试验共用同一个浏览器会话,因为后面的试验会沾前面试验的光。还有,不要只报告 pass@k:按定义,它永远是三个数字中最高的。

这项技能在客户现场的用处

在项目中,这张三个数字的表格,就是你带去决定 Agent 是否上生产环境那场会议的材料。与其说“Agent 效果还不错”,不如说清楚哪些任务做到了 8/8,哪些只有 5/8,以及原因是什么。这句话能帮客户决定在哪一步保留人工审核。

在前线部署工程师(FDE)的简历上或面试中,就把这个过程讲清楚:多少个任务、多少次试验,以及修复各类失败前后的 pass^k。如果岗位描述提到评测或可靠性,这就是你应该首先讲的故事。

演示让客户看到 Agent 能做什么,160 次运行则让他们看到,没人盯着的时候它会怎么做。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力ERP 同步中途失败,最难的是安全重试幂等键、事务性发件箱和三方对账,让客户的账目在期末结账时分毫不差。