# robots.txt 不是客户网页 Agent 的许可证

> 演示之后，403 错误、对不上论点的引用，还有追问爬取授权的法务团队接连出现。

原文: https://fdetimes.net/zh/guides/web-reading-agents-crawlers-citations-robots-txt/

一位客户想要一个 Agent，每周读取 G2 上竞品的产品评论，再为产品团队写出摘要。第一天下午，演示就跑通了。

到了第二周，爬虫开始收到 403 错误；摘要里有一句话链接到的页面，对这句话的观点只字未提；法务负责人还追问：是谁授权从这个网站抓取数据的？

这三个问题，正好对应前线部署工程师（FDE）把网页阅读 Agent 投入生产环境时的三项工作：选择数据抓取方式、管控数据来源、向客户讲清法律风险。

下文沿着这个 G2 场景展开，每一节结尾都给出在客户侧要做的第一件事。

## 按任务选爬虫，而不是按热度

抓取页面内容只是第一步。真正的问题是：需要多少定制、要跑多大规模、页面数增长十倍时由谁买单。三款常用工具的定位差别很大。

| | Crawl4AI | Jina Reader | Firecrawl |
|---|---|---|---|
| 是什么 | 开源爬虫，专为接入 LLM、Agent 和数据管道而设计；输出针对检索增强生成（RAG）优化的 Markdown | 无需注册账号即可使用的网页读取服务 | 面向 AI 的热门抓取平台 |
| 成本 | 开源，在自己的数据管道中运行 | 通过 API 免费使用，上限一百万 token | 按积分计费，分多个套餐 |
| 局限 | 无法突破机器人检测严格的网站 | 定制空间小，不适合大规模抓取 | 规模扩大后成本急剧上升 |

这张表给出了一个合理的顺序。第一天用 Jina Reader 验证想法，免费的一百万 token 足够用很久。当数据管道需要长期运行，且需要的定制超出 Jina 的能力时，再迁移到 Crawl4AI。

只有按客户的真实页面量（而不是演示时的页面量）估算过积分成本之后，才考虑 Firecrawl。

在客户侧要做的第一件事：问清每周需要读取多少页面、涉及多少个域名。这个数字比任何对比表都更能决定工具选型。

## 403 是信号，而不只是 bug

在一篇结合 Crawl4AI 与 DeepSeek 的教程中，Bright Data 记录道：第一次尝试抓取 G2 时返回了 403。Crawl4AI 无法突破这类防护严密的页面，他们不得不改用远程浏览器（Scraping Browser）来获取内容。

从技术上看，问题解决了。但对 FDE 来说，403 首先表明网站所有者不希望机器人读取内容。要不要绕过，是客户的业务和法律决策，不应作为默认行为埋在代码里。

遇到 403 时，记录下该域名并加入清单交给客户审核，而不是悄悄换成代理。

## 网页往往比上下文窗口更长

在同一个 G2 案例里，评论页面太长，超出了 token 上限，无法整页传给运行在 Groq 上的 DeepSeek 模型。解决办法是先用 CSS 选择器只提取相关部分，再交给模型。

设想一个评论页面：有导航栏、广告、页脚、几十个推荐商品，真正的评论只有一个区块。把整页喂给模型，你要为这些杂乱内容付费，可能撑爆上下文，还让模型更容易引用错段落。

只保留评论区块，每次调用都更便宜；更重要的是，每条论点都能追溯到一段具体的文字。

因此，选择器应当作为按域名划分的配置，与数据管道一起保存，并有测试覆盖。网站一改版，选择器就会失效；你希望通过一个失败的测试发现这件事，而不是等一份空摘要发到客户老板手里。

## 引用不等于证据

PraisonAI 在其 Web Search Agent 文档中给出了一条简单建议：让 Agent 列出它用过的 URL。这是来源管控的最低要求，很多团队也就止步于此。

止步于此并不够。Useful AI 上一篇关于如何挑选 AI 搜索工具的指南提醒：有来源，不代表来源说了答案里说的话。它提出了一条评测标准：被引用的来源必须支撑具体论点，而不只是话题相同。

**要点:** 话题相同却不支撑论点的链接，比没有链接更危险，因为它会让读者相信这个答案。

把这条标准用到 G2 案例上。Agent 写下“用户对上手时间抱怨很多”，并引用了这款产品的一个评论页面。页面真实存在，话题也对得上。但如果评论区块里没有任何内容提到上手，这条论点就没有依据，尽管乍看之下来源齐全。

解决办法是让 Agent 为每条论点返回一条来源记录，而不只是一串 URL。一条最简记录应包含：

```json
{
  "claim": "用户抱怨上手时间长",
  "url": "https://...",
  "selector": "div.review-body",
  "quote": "<从抓取区块中原文摘录的段落>",
  "support": "direct | topical | none"
}
```

（其中 `claim` 存放论点“用户抱怨上手时间长”，`quote` 存放从抓取区块中原文摘录的段落。）

`quote` 字段迫使 Agent 指出确切的段落。再由第二道检查（单独一次 LLM 调用，或由人工抽样评分）给出 `support` 标签。凡是只评为 `topical` 或 `none` 的论点，在交给客户之前一律丢弃或标记。

PraisonAI 还建议开启 `memory=True`，让 Agent 利用先前的查询，而不是每次运行都重新搜索相同内容。在每周运行的数据管道里，这能减少搜索调用次数。

在客户侧要做的第一件事：与客户约定“正确”即 `direct`，先在 20 个样本答案上测出这个比例，再讨论扩展。

## robots.txt：法院怎么说，以及为什么仍要遵守

2025 年 12 月 15 日，在 Ziff Davis 诉 OpenAI 案中，纽约南区联邦法院（S.D.N.Y.）认定，robots.txt 指令只是请求，并不是 DMCA §1201 意义上控制访问受版权保护作品的机制。按照法院的说法，无视 robots.txt 不构成 DMCA 下的“规避”。

仔细读，这个判决范围很窄。它只回答了关于一部法律的一个问题，并未排除其他索赔，比如违约或侵犯版权。所以，“法院说 robots.txt 没有约束力”不能成为什么都抓的理由。

对 FDE 来说，稳妥的做法是把每个域名的 robots.txt 和使用条款作为范围界定会议的输入：列出数据源，记录每个网站允许什么，再请客户法务团队签字确认。你不是律师，也不该扮演律师。

你的工作是让风险可见，由有权限的人来做决定。

## 下一个网页阅读 Agent 项目的五个步骤

1. 列出数据源清单：哪些域名、多少页面、多久一次，以及每个网站的 robots.txt 和使用条款怎么写。
2. 根据规模数据选择工具，并按真实页面量估算成本。
3. 为每个域名编写选择器，并配上能发现页面改版的测试。
4. 设计逐条论点的来源记录，开启 memory 减少重复搜索，并在结果发出前加一道支撑度检查。
5. 向客户交付一份经批准的数据源表，以及一套处理 403 的流程。

## 最常见的错误

最常见的错误，是按演示估算成本，等系统以真实规模运行时才大吃一惊。其次是把整页喂给模型，既浪费 token，又让引用不够精确。第三是只检查答案有没有链接，而不检查这些链接是否支撑具体论点。

第四个更难察觉：把绕过机器人检测当成纯技术问题，再拿 robots.txt 的判决当许可证。

这些错误通常要等 Agent 在生产环境中运行后才会暴露，所以处理过它们的经历，是 FDE 简历和面试中很有分量的素材。

与其写“基于网页数据构建了 RAG Agent”，不如描述具体工作，比如“设计了逐条论点的引用核查层”或“搭建了经法务批准的数据源目录”，并准备好讲一次遇到 403 的经历，以及你是如何处理的。

衡量网页阅读 Agent 的标准，不是它能找到多少页面，而是它写下的每一句话，能否在产品团队面前、必要时在法务部门面前站得住脚。

**本周动手试试:**

- 找一个你常读的长页面，写一个只保留正文的 CSS 选择器，对比裁剪前后的 token 数。
- 让一个搜索 Agent 回答 5 个问题并附上 URL，然后亲自按三个等级给每条论点打分：直接支撑、仅话题相关、无关。
- 为一个假想项目写一页数据源表，列出域名、robots.txt 的规定、使用条款以及审批人。

## 信源

- [AI-Powered Web Scraper with Crawl4AI and DeepSeek](https://brightdata.com/blog/web-data/crawl4ai-and-deepseek-web-scraping)

- [Best Web Scraping Tools for AI Applications: My Favourites](https://www.thetoolnerd.com/p/best-web-scraping-tools-for-ai-applications)

- [Web Search Agent - PraisonAI Documentation](https://praison.ai/docs/agents/websearch)

- [8 Best AI Search Engines for 2025](https://usefulai.com/tools/ai-search-engines)

- [Are Robots.txt Instructions Legally Binding?–Ziff Davis v. OpenAI](https://blog.ericgoldman.org/archives/2025/12/are-robots-txt-instructions-legally-binding-ziff-davis-v-openai.htm)
