FDE Times 数据在招 FDE 职位 882▼2 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 52在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

书籍与课程

这门 65 分钟浏览器 Agent 课,值在两节编码课

AgentQ 与 MCTS 理论略读即可,头条数字背后的失败率,才是 FDE 真正该学的一课。

分享微博

要点速览

  • Building AI Browser Agents 是 DeepLearning.AI 推出的 1 小时 5 分钟课程,由 AGI Inc 联合创始人 Div Garg 和 Naman Garg 讲授
  • 对 FDE 来说,价值在于简单 Web Agent 和自主 Web Agent 两节编码课;AgentQ 与 MCTS 部分属于理论
  • Agent Q 论文报告,在一项预订任务上成功率从 18.6% 升至 81.7%,但 81.7% 仍意味着近五分之一的任务会失败
斜率图:Llama-3 70B 的订票成功率从零样本时的 18.6% 升至采用 Agent Q 方法后的 81.7%;距 100% 的剩余差距以橙色阴影标出,注明约为每 100 次运行失败 18 次。
即便按论文报告的最好成绩,每 100 次订票尝试中仍有约 18 次需要人工重做。该结果仅来自单一任务,且由作者自行报告。来源:arXiv 上的 Agent Q 论文(2024)。

成功率从 18.6% 升到 81.7%。Agent Q 论文报告了这一结果:团队把自己的方法用在零样本模式下的 Llama-3 70B 上,在一项真实世界的预订任务中测得。

这是单项任务上的结果,另有一项在 WebShop(一个模拟电商环境)上的独立实验。它并不是多个基准测试的平均值。

不过,这个数字足以说明,为什么一门只有 1 小时 5 分钟、正是基于这项研究的课程,值得前线部署工程师(FDE)花一个晚上。

这门课是 DeepLearning.AI 与 AGI Inc 合作推出的 Building AI Browser Agents,由 AGI Inc 联合创始人 Div Garg 和 Naman Garg 讲授。课程于 2025 年 4 月 17 日发布,目标是帮助学习者理解自主 Web Agent 的工作原理、当前局限,以及 AgentQ 如何帮助 Agent 纠正自身错误。

FDE 为什么要关心?在很多客户那里,并非所有数据都有 API。大量数据仍在内部 Web 门户、合作方网站和表单里,员工每天手动点来点去。客户问“Agent 能自己做这件事吗?”时,既要知道怎么搭,也要知道它会在哪里出问题。

一小时,但每一分钟的价值并不相同

课程定级为中级,但唯一的前置要求是 Python 基础。全部 9 个小节中有两节编码课:一节搭建简单 Web Agent,另一节搭建自主 Web Agent。此外还有一节深入讲解 AgentQ 和 MCTS。

两节编码课要认真学,亲手敲代码,而不是只看视频。设想一个很多项目早期都会遇到的场景:客户需要一个 Agent 访问他们每天用的网站并从中提取信息。这两节课练的正是这类工作。

深入讲解部分则不同。AgentQ 和 MCTS 是关于 Agent 如何自我改进的理论,不是部署技能。给在职 FDE 的建议:抓住主要思路,除非项目需要,不必钻研算法的每个细节。

思路一:Agent 需要尝试多条分支的空间

Agent Q 论文于 2024 年 8 月 13 日提交至 arXiv,提出把引导式蒙特卡洛树搜索(MCTS)与自我批评机制结合,让 Agent 同时从成功和失败的运行中学习。课程页面把 AgentQ 描述为一个结合 MCTS、自我批评和直接偏好优化(DPO)的框架,让 Agent 能纠正自己的错误。

用程序员的话说:Agent 不是从首页直线走到“预订”按钮,而是权衡几种可能的操作序列,自己给哪些步骤更有希望打分。

值得记住的不在 MCTS 的细节,而在起点:应用该方法之前,零样本模型的成功率不到五分之一。仅凭这一点,就该警惕那种一路直冲、从不回退、从不自查的 Agent。

思路二:把成功率读成失败任务数

81.7% 的成功率下,每 100 次预订仍有约 18 次失败。

假设客户希望 Agent 每周处理 500 个预订请求。即使恰好达到这个水平,也有 90 多个请求需要人工重做。所以与客户首先要谈清的是:谁来处理失败,以及如何发现失败。

放到更大的范围看,情况更严峻。REAL 基准由 AGI Inc 与合作者构建,使用 11 个网站的确定性复刻版本,共 112 项任务。在这个基准上,前沿模型最高只有 41%;AGI Inc 的博客记录 Claude-3.7-Sonnet-Thinking 得分为 41.1%。每 100 项任务中,近 60 项失败。

思路三:先测量,再承诺

AGI Inc 把自己的研究网站定位为一本手册,面向构建、测量和评审 Agent 系统的人。对 FDE 而言,这三项工作的顺序值得记住:搭好 Agent 只是第一步,不是全部。

设想为一个刚在公开网站上搭好的 Agent 写 20 项任务,再把每次运行结果归入且只归入一个类别。一份假设的结果表可能如下:

结果 任务数 下一步修复
成功 13 保留为回归测试集
找不到元素 3 检查选择器,等待页面加载完成
误读页面 2 检查 Agent 实际看到的内容
结果不完整 2 修改提示词,补充评分标准

解读这张表:13/20 即 65%,也就是每 20 个请求中有 7 个需要人工复核。最后一列告诉你先修什么,这里是“找不到元素”,因为它最常见。每次修复后重跑同样的 20 项任务,带着这张表去见客户,而不是一个只成功过一次的演示。

如果需要一把通用的尺子,而不只是自己的任务集,开源的 AGI SDK 是顺理成章的下一步。它用 pip 安装,可以在 REAL 任务上运行测试框架,让你的 Agent 与大模型在同一个“迷你互联网”上比较得分。

谁该学,按什么顺序学

如果你是想转向 FDE 工作、从没搭过 Agent 的软件工程师,这门课是一个平缓的起点:时间短,只需 Python 基础。如果已经熟悉 Agent,可以直接学两节编码课,再转向 AGI SDK。

给新手的合理顺序:先读 arXiv 上 Agent Q 论文的摘要了解全貌,认真完成两节编码课,略读 AgentQ 与 MCTS 深入讲解,然后用自己的任务集测量 Agent。

写进简历时,一张短课程证书说明不了多少。一个小仓库则不同:一个在公开网站上运行的 Web Agent,附上在自写任务集上的成功率表和错误分类,再加上几项 REAL 任务的得分。

浏览 FDE 招聘启事时,留意“agent”“automation”“evaluation”这类词:这个仓库能同时回应这三点。

这门课教你用一个晚上搭出 Agent。真正的 FDE 工作,从数清它在 100 项任务里失败多少次开始。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 3: AI 应用SKILL.md 格式能跨平台,部署却得逐个重做DeepLearning.AI 与 Anthropic 的两小时课程值得一学,但要同时读各平台自己的文档。