# 这门 65 分钟浏览器 Agent 课，值在两节编码课

> AgentQ 与 MCTS 理论略读即可，头条数字背后的失败率，才是 FDE 真正该学的一课。

原文: https://fdetimes.net/zh/books-courses/building-ai-browser-agents-course-review/

成功率从 18.6% 升到 81.7%。Agent Q 论文报告了这一结果：团队把自己的方法用在零样本模式下的 Llama-3 70B 上，在一项真实世界的预订任务中测得。

这是单项任务上的结果，另有一项在 WebShop（一个模拟电商环境）上的独立实验。它并不是多个基准测试的平均值。

不过，这个数字足以说明，为什么一门只有 1 小时 5 分钟、正是基于这项研究的课程，值得前线部署工程师（FDE）花一个晚上。

这门课是 DeepLearning.AI 与 AGI Inc 合作推出的 Building AI Browser Agents，由 AGI Inc 联合创始人 Div Garg 和 Naman Garg 讲授。课程于 2025 年 4 月 17 日发布，目标是帮助学习者理解自主 Web Agent 的工作原理、当前局限，以及 AgentQ 如何帮助 Agent 纠正自身错误。

FDE 为什么要关心？在很多客户那里，并非所有数据都有 API。大量数据仍在内部 Web 门户、合作方网站和表单里，员工每天手动点来点去。客户问“Agent 能自己做这件事吗？”时，既要知道怎么搭，也要知道它会在哪里出问题。

## 一小时，但每一分钟的价值并不相同

课程定级为中级，但唯一的前置要求是 Python 基础。全部 9 个小节中有两节编码课：一节搭建简单 Web Agent，另一节搭建自主 Web Agent。此外还有一节深入讲解 AgentQ 和 MCTS。

两节编码课要认真学，亲手敲代码，而不是只看视频。设想一个很多项目早期都会遇到的场景：客户需要一个 Agent 访问他们每天用的网站并从中提取信息。这两节课练的正是这类工作。

深入讲解部分则不同。AgentQ 和 MCTS 是关于 Agent 如何自我改进的理论，不是部署技能。给在职 FDE 的建议：抓住主要思路，除非项目需要，不必钻研算法的每个细节。

## 思路一：Agent 需要尝试多条分支的空间

Agent Q 论文于 2024 年 8 月 13 日提交至 arXiv，提出把引导式蒙特卡洛树搜索（MCTS）与自我批评机制结合，让 Agent 同时从成功和失败的运行中学习。课程页面把 AgentQ 描述为一个结合 MCTS、自我批评和直接偏好优化（DPO）的框架，让 Agent 能纠正自己的错误。

用程序员的话说：Agent 不是从首页直线走到“预订”按钮，而是权衡几种可能的操作序列，自己给哪些步骤更有希望打分。

值得记住的不在 MCTS 的细节，而在起点：应用该方法之前，零样本模型的成功率不到五分之一。仅凭这一点，就该警惕那种一路直冲、从不回退、从不自查的 Agent。

## 思路二：把成功率读成失败任务数

81.7% 的成功率下，每 100 次预订仍有约 18 次失败。

假设客户希望 Agent 每周处理 500 个预订请求。即使恰好达到这个水平，也有 90 多个请求需要人工重做。所以与客户首先要谈清的是：谁来处理失败，以及如何发现失败。

**要点:** 五次能做对四次的 Agent，第五次仍然需要人。

放到更大的范围看，情况更严峻。REAL 基准由 AGI Inc 与合作者构建，使用 11 个网站的确定性复刻版本，共 112 项任务。在这个基准上，前沿模型最高只有 41%；AGI Inc 的博客记录 Claude-3.7-Sonnet-Thinking 得分为 41.1%。每 100 项任务中，近 60 项失败。

## 思路三：先测量，再承诺

AGI Inc 把自己的研究网站定位为一本手册，面向构建、测量和评审 Agent 系统的人。对 FDE 而言，这三项工作的顺序值得记住：搭好 Agent 只是第一步，不是全部。

设想为一个刚在公开网站上搭好的 Agent 写 20 项任务，再把每次运行结果归入且只归入一个类别。一份假设的结果表可能如下：

| 结果 | 任务数 | 下一步修复 |
|---|---|---|
| 成功 | 13 | 保留为回归测试集 |
| 找不到元素 | 3 | 检查选择器，等待页面加载完成 |
| 误读页面 | 2 | 检查 Agent 实际看到的内容 |
| 结果不完整 | 2 | 修改提示词，补充评分标准 |

解读这张表：13/20 即 65%，也就是每 20 个请求中有 7 个需要人工复核。最后一列告诉你先修什么，这里是“找不到元素”，因为它最常见。每次修复后重跑同样的 20 项任务，带着这张表去见客户，而不是一个只成功过一次的演示。

如果需要一把通用的尺子，而不只是自己的任务集，开源的 AGI SDK 是顺理成章的下一步。它用 pip 安装，可以在 REAL 任务上运行测试框架，让你的 Agent 与大模型在同一个“迷你互联网”上比较得分。

## 谁该学，按什么顺序学

如果你是想转向 FDE 工作、从没搭过 Agent 的软件工程师，这门课是一个平缓的起点：时间短，只需 Python 基础。如果已经熟悉 Agent，可以直接学两节编码课，再转向 AGI SDK。

给新手的合理顺序：先读 arXiv 上 Agent Q 论文的摘要了解全貌，认真完成两节编码课，略读 AgentQ 与 MCTS 深入讲解，然后用自己的任务集测量 Agent。

写进简历时，一张短课程证书说明不了多少。一个小仓库则不同：一个在公开网站上运行的 Web Agent，附上在自写任务集上的成功率表和错误分类，再加上几项 REAL 任务的得分。

浏览 FDE 招聘启事时，留意“agent”“automation”“evaluation”这类词：这个仓库能同时回应这三点。

这门课教你用一个晚上搭出 Agent。真正的 FDE 工作，从数清它在 100 项任务里失败多少次开始。

**本周动手试试:**

- 完成简单 Web Agent 和自主 Web Agent 两节编码课，然后在一个你熟悉的公开网站上运行这个 Agent
- 为这个 Agent 写 20 项测试任务，统计成功次数，并把每次失败归入一张错误类型表
- 用 pip 安装 AGI SDK，在几项 REAL 任务上运行测试框架，用通用基准比较你的 Agent

## 信源

- [Building AI Browser Agents - DeepLearning.AI](https://www.deeplearning.ai/courses/building-ai-browser-agents)

- [New course! Enroll in Building AI Browser Agents](https://community.deeplearning.ai/t/new-course-enroll-in-building-ai-browser-agents/801938)

- [Agent Q: Advanced Reasoning and Learning for Autonomous AI Agents](https://arxiv.org/abs/2408.07199)

- [REAL: Benchmarking Autonomous Agents on Deterministic Simulations of Real Websites](https://arxiv.org/abs/2504.11543)

- [Introducing REAL Bench](https://www.theagi.company/blog/introducing-real-bench)

- [agi-inc/agisdk (GitHub)](https://github.com/agi-inc/agisdk)

- [AGI Research](https://research.theagi.company/)
