# Firecrawl 替 Agent 抓客户文档，范围仍要你来定

> 它能渲染 JavaScript、转换 PDF；路径正则、limit 和 maxAge 决定抓什么、花多少、数据多新。

原文: https://fdetimes.net/zh/tools/firecrawl-customer-docs-markdown-rag/

客户的帮助中心用 JavaScript 渲染，curl 拿回来只是一个空的 HTML 壳；产品文档则散落在各种 PDF 和 DOCX 文件里。

Firecrawl 正是为这一步而生的。这家公司把自己的产品称为面向 AI Agent 的“context API”：给它一个线上网页，它返回干净的 Markdown 或结构化数据。

对前线部署工程师（FDE）来说，从“客户发来一个链接”到“Agent 能回答第一个问题”，这条路会因此短很多。但要用好它，得先弄清三件事：抓取范围、成本和数据新鲜度。

## 它替你扛下了什么？

根据 Firecrawl 的文档，这个工具处理了网页访问中最难的部分：代理、反爬机制、JavaScript 渲染和动态内容。输出格式包括 Markdown、结构化 JSON、截图等多种，都可以直接交给 LLM 读取。只为读客户的 FAQ 页面，不必再专门搭一个无头浏览器。

`/scrape` 端点针对单个 URL。它会根据 URL 识别 PDF、DOCX 等文档类型，并转换成 Markdown。所以客户给你一份以公开 PDF 发布的用户指南时，调用方式和抓 HTML 页面完全一样。

Crawl 针对整个站点。你提交一个根 URL，Firecrawl 借助 sitemap 和页面链接发现页面，再抓取所有能到达的子页面。

## 示例：只抓客户的文档

假设客户是一家软件公司，网站上有 `/blog`、`/careers`、`/docs/api` 和 `/docs/guides`，而客服 Agent 只需要两个 `/docs` 栏目。如果从首页开始不加限制地抓，Firecrawl 会一直抓到默认上限 10,000 页，每页消耗 1 个 credit。

用 `includePaths` 和 `excludePaths` 可以收窄范围。最常见的错误恰恰出在这里：这两个参数都是正则，只匹配 URL 的**路径（pathname）**，不匹配完整 URL，也不匹配查询参数。写成 `https://customer.com/docs/.*` 的模式永远匹配不上，正确写法是 `^/docs/.*`。

下面是一次试抓的请求体，仅作示意，只需要三个参数：

```json
{
  "url": "https://customer.com",
  "includePaths": ["^/docs/.*"],
  "limit": 50
}
```

由于正则只看路径，includePaths 无法按 `?version=2` 这类条件过滤。如果客户通过查询字符串区分文档版本，运行前先研究清楚 URL 结构。稳妥的顺序是：先 scrape 几个页面，再像上面那样用较小的 `limit` 试抓，数一数返回了多少页，然后才调高上限。

**要点:** 抓取客户网站之前，先弄清需要多少页，以及为什么需要。

## 过期数据是个无声的陷阱

默认情况下，只要存在较新的副本，Firecrawl 就从缓存返回结果，缓存窗口为 2 天。第 2 版主打智能缓存，Firecrawl 称这能让抓取速度最高提升 10 倍。对大多数文档来说这是好事：更快，也减少了对客户网站的重复请求。

但想想价格页或更新日志。缓存最多可保留 2 天，如果客户今天早上刚调了价，你的 Agent 可能还在用旧价格回答。对这类 URL，设置 `maxAge=0` 绕过缓存：

```json
{
  "url": "https://customer.com/pricing",
  "maxAge": 0
}
```

把这条约定写进给客户的交接文档：哪些 URL 走缓存，哪些每次都抓最新内容。

## 谁能抓，谁能自托管？

Crawl 默认遵守 robots.txt，只有 Enterprise 套餐能开启 `ignoreRobotsTxt`。即便能用这个功能，能否抓取客户网站也应写进书面协议，而不是写在配置文件里；对第三方网站，robots.txt 是不能越过的线。

许可方面，GitHub 仓库把 Firecrawl 描述为开源 API。核心部分采用 AGPL-3.0，SDK 和部分 UI 组件采用 MIT。如果客户想在自己的基础设施内自托管，先请客户的法务团队审查 AGPL，而这个问题应该由你主动提出。

Firecrawl 列出的客户包括 Zapier、Shopify 和 Replit，但真正能说服你客户的，是在他们自己网站上跑一遍 Markdown 试抓。

## 先学什么

从对难搞页面跑 `/scrape` 开始：一个 SPA，一个 PDF。目的是在切块之前看清 Markdown 输出长什么样。接着学会写路径正则、设置 `limit`，因为成本就在这里决定；之后再为每组 URL 制定缓存策略。

把这段经验写进简历时，别只写“用过 Firecrawl”。写清你如何为 RAG 搭建文档接入管道：怎样限定抓取范围，怎样估算成本，按什么规则刷新数据。这会让看简历的人知道，你认真对待客户数据，而不只是罗列工具名。

Firecrawl 能很快给你 Markdown。抓哪些页面、何时重新抓，仍然是你的事。

**本周动手试试:**

- 挑一个用 SPA 构建的公开文档页面和一份公开 PDF，分别运行 /scrape，把得到的 Markdown 和浏览器里看到的内容对比。
- 为单个文档栏目写一条 includePaths 正则，用较小的 limit 试抓一次，检查返回的页数是否符合预估。
- 列出内容变动最频繁的 URL（价格页、更新日志），决定哪些必须用 maxAge=0 抓取。

## 信源

- [Firecrawl Docs – Introduction](https://docs.firecrawl.dev/introduction)

- [Firecrawl Docs – Scrape](https://docs.firecrawl.dev/features/scrape)

- [Firecrawl Docs – Crawl](https://docs.firecrawl.dev/features/crawl)

- [firecrawl/firecrawl – GitHub](https://github.com/firecrawl/firecrawl)

- [Firecrawl v2 Series A announcement](https://www.firecrawl.dev/blog/firecrawl-v2-series-a-announcement)
