FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

robots.txt 不是客户网页 Agent 的许可证

演示之后,403 错误、对不上论点的引用,还有追问爬取授权的法务团队接连出现。

分享微博

要点速览

  • 三款工具各有分工:Crawl4AI 适合自己掌控的数据管道,Jina Reader 适合快速试验,Firecrawl 适合想要现成平台的场景,但其按积分计费的方式在规模扩大后成本上涨很快。
  • Agent 会标注来源还不够:被引用的来源必须支撑具体论点,而不只是话题相同。
  • 2025 年 12 月 15 日,纽约南区联邦法院(S.D.N.Y.)认定,在 DMCA §1201 下 robots.txt 只是一种请求,但该判决并未排除合同或版权方面的索赔。
网页阅读 Agent 数据管道示意图。四个相连的步骤:附有 robots.txt 和使用条款、经法务签字确认的数据源清单;按每周实际页面量选定的爬虫;只保留评论区块、作为经过测试的配置的 CSS 选择器;以及每条论点对应一条附原文引文的来源记录。爬虫步骤引出一条 403 分支:把它视为信号,记录域名并交给客户审核。末端是第二道检查,给出三种支撑度标签之一:direct 交付客户,topical 和 none 被丢弃或标记。旁边有一句引言:话题相同却并不真正支撑论点的链接,比没有链接更危险。
只有每条论点都有一段真正支撑它的原文(direct 级别),且每个来源都经客户法务批准,网页阅读 Agent 才值得信任。

一位客户想要一个 Agent,每周读取 G2 上竞品的产品评论,再为产品团队写出摘要。第一天下午,演示就跑通了。

到了第二周,爬虫开始收到 403 错误;摘要里有一句话链接到的页面,对这句话的观点只字未提;法务负责人还追问:是谁授权从这个网站抓取数据的?

这三个问题,正好对应前线部署工程师(FDE)把网页阅读 Agent 投入生产环境时的三项工作:选择数据抓取方式、管控数据来源、向客户讲清法律风险。

下文沿着这个 G2 场景展开,每一节结尾都给出在客户侧要做的第一件事。

按任务选爬虫,而不是按热度

抓取页面内容只是第一步。真正的问题是:需要多少定制、要跑多大规模、页面数增长十倍时由谁买单。三款常用工具的定位差别很大。

Crawl4AI Jina Reader Firecrawl
是什么 开源爬虫,专为接入 LLM、Agent 和数据管道而设计;输出针对检索增强生成(RAG)优化的 Markdown 无需注册账号即可使用的网页读取服务 面向 AI 的热门抓取平台
成本 开源,在自己的数据管道中运行 通过 API 免费使用,上限一百万 token 按积分计费,分多个套餐
局限 无法突破机器人检测严格的网站 定制空间小,不适合大规模抓取 规模扩大后成本急剧上升

这张表给出了一个合理的顺序。第一天用 Jina Reader 验证想法,免费的一百万 token 足够用很久。当数据管道需要长期运行,且需要的定制超出 Jina 的能力时,再迁移到 Crawl4AI。

只有按客户的真实页面量(而不是演示时的页面量)估算过积分成本之后,才考虑 Firecrawl。

在客户侧要做的第一件事:问清每周需要读取多少页面、涉及多少个域名。这个数字比任何对比表都更能决定工具选型。

403 是信号,而不只是 bug

在一篇结合 Crawl4AI 与 DeepSeek 的教程中,Bright Data 记录道:第一次尝试抓取 G2 时返回了 403。Crawl4AI 无法突破这类防护严密的页面,他们不得不改用远程浏览器(Scraping Browser)来获取内容。

从技术上看,问题解决了。但对 FDE 来说,403 首先表明网站所有者不希望机器人读取内容。要不要绕过,是客户的业务和法律决策,不应作为默认行为埋在代码里。

遇到 403 时,记录下该域名并加入清单交给客户审核,而不是悄悄换成代理。

网页往往比上下文窗口更长

在同一个 G2 案例里,评论页面太长,超出了 token 上限,无法整页传给运行在 Groq 上的 DeepSeek 模型。解决办法是先用 CSS 选择器只提取相关部分,再交给模型。

设想一个评论页面:有导航栏、广告、页脚、几十个推荐商品,真正的评论只有一个区块。把整页喂给模型,你要为这些杂乱内容付费,可能撑爆上下文,还让模型更容易引用错段落。

只保留评论区块,每次调用都更便宜;更重要的是,每条论点都能追溯到一段具体的文字。

因此,选择器应当作为按域名划分的配置,与数据管道一起保存,并有测试覆盖。网站一改版,选择器就会失效;你希望通过一个失败的测试发现这件事,而不是等一份空摘要发到客户老板手里。

引用不等于证据

PraisonAI 在其 Web Search Agent 文档中给出了一条简单建议:让 Agent 列出它用过的 URL。这是来源管控的最低要求,很多团队也就止步于此。

止步于此并不够。Useful AI 上一篇关于如何挑选 AI 搜索工具的指南提醒:有来源,不代表来源说了答案里说的话。它提出了一条评测标准:被引用的来源必须支撑具体论点,而不只是话题相同。

把这条标准用到 G2 案例上。Agent 写下“用户对上手时间抱怨很多”,并引用了这款产品的一个评论页面。页面真实存在,话题也对得上。但如果评论区块里没有任何内容提到上手,这条论点就没有依据,尽管乍看之下来源齐全。

解决办法是让 Agent 为每条论点返回一条来源记录,而不只是一串 URL。一条最简记录应包含:

{
  "claim": "用户抱怨上手时间长",
  "url": "https://...",
  "selector": "div.review-body",
  "quote": "<从抓取区块中原文摘录的段落>",
  "support": "direct | topical | none"
}

(其中 claim 存放论点“用户抱怨上手时间长”,quote 存放从抓取区块中原文摘录的段落。)

quote 字段迫使 Agent 指出确切的段落。再由第二道检查(单独一次 LLM 调用,或由人工抽样评分)给出 support 标签。凡是只评为 topical 或 none 的论点,在交给客户之前一律丢弃或标记。

PraisonAI 还建议开启 memory=True,让 Agent 利用先前的查询,而不是每次运行都重新搜索相同内容。在每周运行的数据管道里,这能减少搜索调用次数。

在客户侧要做的第一件事:与客户约定“正确”即 direct,先在 20 个样本答案上测出这个比例,再讨论扩展。

robots.txt:法院怎么说,以及为什么仍要遵守

2025 年 12 月 15 日,在 Ziff Davis 诉 OpenAI 案中,纽约南区联邦法院(S.D.N.Y.)认定,robots.txt 指令只是请求,并不是 DMCA §1201 意义上控制访问受版权保护作品的机制。按照法院的说法,无视 robots.txt 不构成 DMCA 下的“规避”。

仔细读,这个判决范围很窄。它只回答了关于一部法律的一个问题,并未排除其他索赔,比如违约或侵犯版权。所以,“法院说 robots.txt 没有约束力”不能成为什么都抓的理由。

对 FDE 来说,稳妥的做法是把每个域名的 robots.txt 和使用条款作为范围界定会议的输入:列出数据源,记录每个网站允许什么,再请客户法务团队签字确认。你不是律师,也不该扮演律师。

你的工作是让风险可见,由有权限的人来做决定。

下一个网页阅读 Agent 项目的五个步骤

  1. 列出数据源清单:哪些域名、多少页面、多久一次,以及每个网站的 robots.txt 和使用条款怎么写。
  2. 根据规模数据选择工具,并按真实页面量估算成本。
  3. 为每个域名编写选择器,并配上能发现页面改版的测试。
  4. 设计逐条论点的来源记录,开启 memory 减少重复搜索,并在结果发出前加一道支撑度检查。
  5. 向客户交付一份经批准的数据源表,以及一套处理 403 的流程。

最常见的错误

最常见的错误,是按演示估算成本,等系统以真实规模运行时才大吃一惊。其次是把整页喂给模型,既浪费 token,又让引用不够精确。第三是只检查答案有没有链接,而不检查这些链接是否支撑具体论点。

第四个更难察觉:把绕过机器人检测当成纯技术问题,再拿 robots.txt 的判决当许可证。

这些错误通常要等 Agent 在生产环境中运行后才会暴露,所以处理过它们的经历,是 FDE 简历和面试中很有分量的素材。

与其写“基于网页数据构建了 RAG Agent”,不如描述具体工作,比如“设计了逐条论点的引用核查层”或“搭建了经法务批准的数据源目录”,并准备好讲一次遇到 403 的经历,以及你是如何处理的。

衡量网页阅读 Agent 的标准,不是它能找到多少页面,而是它写下的每一句话,能否在产品团队面前、必要时在法务部门面前站得住脚。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 3: AI 应用Agent 调错工具,先查你写的工具描述Anthropic 把详细描述列为影响工具表现的首要因素,本文以一家物流公司的 API 为例逐步改写。