robots.txt 不是客户网页 Agent 的许可证
演示之后,403 错误、对不上论点的引用,还有追问爬取授权的法务团队接连出现。
要点速览
- 三款工具各有分工:Crawl4AI 适合自己掌控的数据管道,Jina Reader 适合快速试验,Firecrawl 适合想要现成平台的场景,但其按积分计费的方式在规模扩大后成本上涨很快。
- Agent 会标注来源还不够:被引用的来源必须支撑具体论点,而不只是话题相同。
- 2025 年 12 月 15 日,纽约南区联邦法院(S.D.N.Y.)认定,在 DMCA §1201 下 robots.txt 只是一种请求,但该判决并未排除合同或版权方面的索赔。
一位客户想要一个 Agent,每周读取 G2 上竞品的产品评论,再为产品团队写出摘要。第一天下午,演示就跑通了。
到了第二周,爬虫开始收到 403 错误;摘要里有一句话链接到的页面,对这句话的观点只字未提;法务负责人还追问:是谁授权从这个网站抓取数据的?
这三个问题,正好对应前线部署工程师(FDE)把网页阅读 Agent 投入生产环境时的三项工作:选择数据抓取方式、管控数据来源、向客户讲清法律风险。
下文沿着这个 G2 场景展开,每一节结尾都给出在客户侧要做的第一件事。
按任务选爬虫,而不是按热度
抓取页面内容只是第一步。真正的问题是:需要多少定制、要跑多大规模、页面数增长十倍时由谁买单。三款常用工具的定位差别很大。
| Crawl4AI | Jina Reader | Firecrawl | |
|---|---|---|---|
| 是什么 | 开源爬虫,专为接入 LLM、Agent 和数据管道而设计;输出针对检索增强生成(RAG)优化的 Markdown | 无需注册账号即可使用的网页读取服务 | 面向 AI 的热门抓取平台 |
| 成本 | 开源,在自己的数据管道中运行 | 通过 API 免费使用,上限一百万 token | 按积分计费,分多个套餐 |
| 局限 | 无法突破机器人检测严格的网站 | 定制空间小,不适合大规模抓取 | 规模扩大后成本急剧上升 |
这张表给出了一个合理的顺序。第一天用 Jina Reader 验证想法,免费的一百万 token 足够用很久。当数据管道需要长期运行,且需要的定制超出 Jina 的能力时,再迁移到 Crawl4AI。
只有按客户的真实页面量(而不是演示时的页面量)估算过积分成本之后,才考虑 Firecrawl。
在客户侧要做的第一件事:问清每周需要读取多少页面、涉及多少个域名。这个数字比任何对比表都更能决定工具选型。
403 是信号,而不只是 bug
在一篇结合 Crawl4AI 与 DeepSeek 的教程中,Bright Data 记录道:第一次尝试抓取 G2 时返回了 403。Crawl4AI 无法突破这类防护严密的页面,他们不得不改用远程浏览器(Scraping Browser)来获取内容。
从技术上看,问题解决了。但对 FDE 来说,403 首先表明网站所有者不希望机器人读取内容。要不要绕过,是客户的业务和法律决策,不应作为默认行为埋在代码里。
遇到 403 时,记录下该域名并加入清单交给客户审核,而不是悄悄换成代理。
网页往往比上下文窗口更长
在同一个 G2 案例里,评论页面太长,超出了 token 上限,无法整页传给运行在 Groq 上的 DeepSeek 模型。解决办法是先用 CSS 选择器只提取相关部分,再交给模型。
设想一个评论页面:有导航栏、广告、页脚、几十个推荐商品,真正的评论只有一个区块。把整页喂给模型,你要为这些杂乱内容付费,可能撑爆上下文,还让模型更容易引用错段落。
只保留评论区块,每次调用都更便宜;更重要的是,每条论点都能追溯到一段具体的文字。
因此,选择器应当作为按域名划分的配置,与数据管道一起保存,并有测试覆盖。网站一改版,选择器就会失效;你希望通过一个失败的测试发现这件事,而不是等一份空摘要发到客户老板手里。
引用不等于证据
PraisonAI 在其 Web Search Agent 文档中给出了一条简单建议:让 Agent 列出它用过的 URL。这是来源管控的最低要求,很多团队也就止步于此。
止步于此并不够。Useful AI 上一篇关于如何挑选 AI 搜索工具的指南提醒:有来源,不代表来源说了答案里说的话。它提出了一条评测标准:被引用的来源必须支撑具体论点,而不只是话题相同。
把这条标准用到 G2 案例上。Agent 写下“用户对上手时间抱怨很多”,并引用了这款产品的一个评论页面。页面真实存在,话题也对得上。但如果评论区块里没有任何内容提到上手,这条论点就没有依据,尽管乍看之下来源齐全。
解决办法是让 Agent 为每条论点返回一条来源记录,而不只是一串 URL。一条最简记录应包含:
{
"claim": "用户抱怨上手时间长",
"url": "https://...",
"selector": "div.review-body",
"quote": "<从抓取区块中原文摘录的段落>",
"support": "direct | topical | none"
}
(其中 claim 存放论点“用户抱怨上手时间长”,quote 存放从抓取区块中原文摘录的段落。)
quote 字段迫使 Agent 指出确切的段落。再由第二道检查(单独一次 LLM 调用,或由人工抽样评分)给出 support 标签。凡是只评为 topical 或 none 的论点,在交给客户之前一律丢弃或标记。
PraisonAI 还建议开启 memory=True,让 Agent 利用先前的查询,而不是每次运行都重新搜索相同内容。在每周运行的数据管道里,这能减少搜索调用次数。
在客户侧要做的第一件事:与客户约定“正确”即 direct,先在 20 个样本答案上测出这个比例,再讨论扩展。
robots.txt:法院怎么说,以及为什么仍要遵守
2025 年 12 月 15 日,在 Ziff Davis 诉 OpenAI 案中,纽约南区联邦法院(S.D.N.Y.)认定,robots.txt 指令只是请求,并不是 DMCA §1201 意义上控制访问受版权保护作品的机制。按照法院的说法,无视 robots.txt 不构成 DMCA 下的“规避”。
仔细读,这个判决范围很窄。它只回答了关于一部法律的一个问题,并未排除其他索赔,比如违约或侵犯版权。所以,“法院说 robots.txt 没有约束力”不能成为什么都抓的理由。
对 FDE 来说,稳妥的做法是把每个域名的 robots.txt 和使用条款作为范围界定会议的输入:列出数据源,记录每个网站允许什么,再请客户法务团队签字确认。你不是律师,也不该扮演律师。
你的工作是让风险可见,由有权限的人来做决定。
下一个网页阅读 Agent 项目的五个步骤
- 列出数据源清单:哪些域名、多少页面、多久一次,以及每个网站的 robots.txt 和使用条款怎么写。
- 根据规模数据选择工具,并按真实页面量估算成本。
- 为每个域名编写选择器,并配上能发现页面改版的测试。
- 设计逐条论点的来源记录,开启 memory 减少重复搜索,并在结果发出前加一道支撑度检查。
- 向客户交付一份经批准的数据源表,以及一套处理 403 的流程。
最常见的错误
最常见的错误,是按演示估算成本,等系统以真实规模运行时才大吃一惊。其次是把整页喂给模型,既浪费 token,又让引用不够精确。第三是只检查答案有没有链接,而不检查这些链接是否支撑具体论点。
第四个更难察觉:把绕过机器人检测当成纯技术问题,再拿 robots.txt 的判决当许可证。
这些错误通常要等 Agent 在生产环境中运行后才会暴露,所以处理过它们的经历,是 FDE 简历和面试中很有分量的素材。
与其写“基于网页数据构建了 RAG Agent”,不如描述具体工作,比如“设计了逐条论点的引用核查层”或“搭建了经法务批准的数据源目录”,并准备好讲一次遇到 403 的经历,以及你是如何处理的。
衡量网页阅读 Agent 的标准,不是它能找到多少页面,而是它写下的每一句话,能否在产品团队面前、必要时在法务部门面前站得住脚。
这篇文章对你有帮助吗?
感谢你的反馈!