这门 65 分钟浏览器 Agent 课,值在两节编码课
AgentQ 与 MCTS 理论略读即可,头条数字背后的失败率,才是 FDE 真正该学的一课。
要点速览
- Building AI Browser Agents 是 DeepLearning.AI 推出的 1 小时 5 分钟课程,由 AGI Inc 联合创始人 Div Garg 和 Naman Garg 讲授
- 对 FDE 来说,价值在于简单 Web Agent 和自主 Web Agent 两节编码课;AgentQ 与 MCTS 部分属于理论
- Agent Q 论文报告,在一项预订任务上成功率从 18.6% 升至 81.7%,但 81.7% 仍意味着近五分之一的任务会失败
成功率从 18.6% 升到 81.7%。Agent Q 论文报告了这一结果:团队把自己的方法用在零样本模式下的 Llama-3 70B 上,在一项真实世界的预订任务中测得。
这是单项任务上的结果,另有一项在 WebShop(一个模拟电商环境)上的独立实验。它并不是多个基准测试的平均值。
不过,这个数字足以说明,为什么一门只有 1 小时 5 分钟、正是基于这项研究的课程,值得前线部署工程师(FDE)花一个晚上。
这门课是 DeepLearning.AI 与 AGI Inc 合作推出的 Building AI Browser Agents,由 AGI Inc 联合创始人 Div Garg 和 Naman Garg 讲授。课程于 2025 年 4 月 17 日发布,目标是帮助学习者理解自主 Web Agent 的工作原理、当前局限,以及 AgentQ 如何帮助 Agent 纠正自身错误。
FDE 为什么要关心?在很多客户那里,并非所有数据都有 API。大量数据仍在内部 Web 门户、合作方网站和表单里,员工每天手动点来点去。客户问“Agent 能自己做这件事吗?”时,既要知道怎么搭,也要知道它会在哪里出问题。
一小时,但每一分钟的价值并不相同
课程定级为中级,但唯一的前置要求是 Python 基础。全部 9 个小节中有两节编码课:一节搭建简单 Web Agent,另一节搭建自主 Web Agent。此外还有一节深入讲解 AgentQ 和 MCTS。
两节编码课要认真学,亲手敲代码,而不是只看视频。设想一个很多项目早期都会遇到的场景:客户需要一个 Agent 访问他们每天用的网站并从中提取信息。这两节课练的正是这类工作。
深入讲解部分则不同。AgentQ 和 MCTS 是关于 Agent 如何自我改进的理论,不是部署技能。给在职 FDE 的建议:抓住主要思路,除非项目需要,不必钻研算法的每个细节。
思路一:Agent 需要尝试多条分支的空间
Agent Q 论文于 2024 年 8 月 13 日提交至 arXiv,提出把引导式蒙特卡洛树搜索(MCTS)与自我批评机制结合,让 Agent 同时从成功和失败的运行中学习。课程页面把 AgentQ 描述为一个结合 MCTS、自我批评和直接偏好优化(DPO)的框架,让 Agent 能纠正自己的错误。
用程序员的话说:Agent 不是从首页直线走到“预订”按钮,而是权衡几种可能的操作序列,自己给哪些步骤更有希望打分。
值得记住的不在 MCTS 的细节,而在起点:应用该方法之前,零样本模型的成功率不到五分之一。仅凭这一点,就该警惕那种一路直冲、从不回退、从不自查的 Agent。
思路二:把成功率读成失败任务数
81.7% 的成功率下,每 100 次预订仍有约 18 次失败。
假设客户希望 Agent 每周处理 500 个预订请求。即使恰好达到这个水平,也有 90 多个请求需要人工重做。所以与客户首先要谈清的是:谁来处理失败,以及如何发现失败。
放到更大的范围看,情况更严峻。REAL 基准由 AGI Inc 与合作者构建,使用 11 个网站的确定性复刻版本,共 112 项任务。在这个基准上,前沿模型最高只有 41%;AGI Inc 的博客记录 Claude-3.7-Sonnet-Thinking 得分为 41.1%。每 100 项任务中,近 60 项失败。
思路三:先测量,再承诺
AGI Inc 把自己的研究网站定位为一本手册,面向构建、测量和评审 Agent 系统的人。对 FDE 而言,这三项工作的顺序值得记住:搭好 Agent 只是第一步,不是全部。
设想为一个刚在公开网站上搭好的 Agent 写 20 项任务,再把每次运行结果归入且只归入一个类别。一份假设的结果表可能如下:
| 结果 | 任务数 | 下一步修复 |
|---|---|---|
| 成功 | 13 | 保留为回归测试集 |
| 找不到元素 | 3 | 检查选择器,等待页面加载完成 |
| 误读页面 | 2 | 检查 Agent 实际看到的内容 |
| 结果不完整 | 2 | 修改提示词,补充评分标准 |
解读这张表:13/20 即 65%,也就是每 20 个请求中有 7 个需要人工复核。最后一列告诉你先修什么,这里是“找不到元素”,因为它最常见。每次修复后重跑同样的 20 项任务,带着这张表去见客户,而不是一个只成功过一次的演示。
如果需要一把通用的尺子,而不只是自己的任务集,开源的 AGI SDK 是顺理成章的下一步。它用 pip 安装,可以在 REAL 任务上运行测试框架,让你的 Agent 与大模型在同一个“迷你互联网”上比较得分。
谁该学,按什么顺序学
如果你是想转向 FDE 工作、从没搭过 Agent 的软件工程师,这门课是一个平缓的起点:时间短,只需 Python 基础。如果已经熟悉 Agent,可以直接学两节编码课,再转向 AGI SDK。
给新手的合理顺序:先读 arXiv 上 Agent Q 论文的摘要了解全貌,认真完成两节编码课,略读 AgentQ 与 MCTS 深入讲解,然后用自己的任务集测量 Agent。
写进简历时,一张短课程证书说明不了多少。一个小仓库则不同:一个在公开网站上运行的 Web Agent,附上在自写任务集上的成功率表和错误分类,再加上几项 REAL 任务的得分。
浏览 FDE 招聘启事时,留意“agent”“automation”“evaluation”这类词:这个仓库能同时回应这三点。
这门课教你用一个晚上搭出 Agent。真正的 FDE 工作,从数清它在 100 项任务里失败多少次开始。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- Building AI Browser Agents - DeepLearning.AI · 2026-07-17
- New course! Enroll in Building AI Browser Agents · 2025-04-17
- Agent Q: Advanced Reasoning and Learning for Autonomous AI Agents · 2024-08-13
- REAL: Benchmarking Autonomous Agents on Deterministic Simulations of Real Websites · 2025-04-15
- Introducing REAL Bench · 2025-04-18
- agi-inc/agisdk (GitHub)
- AGI Research