FDE Times 数据在招 FDE 职位 881▼8 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 185支持远程 25%美国薪资中位数 $201k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

Firecrawl 替 Agent 抓客户文档,范围仍要你来定

它能渲染 JavaScript、转换 PDF;路径正则、limit 和 maxAge 决定抓什么、花多少、数据多新。

分享微博

要点速览

  • Firecrawl 包揽了抓取网页数据最难的部分:代理、反爬机制和 JavaScript 渲染,返回 Markdown 或 JSON。
  • Crawl 默认最多抓 10,000 页,每页 1 个 credit。运行前务必设置 limit 和路径。
  • Scrape 默认从缓存返回结果,缓存窗口为 2 天。要拿最新内容,设置 maxAge=0。
一个示例 URL 横跨全宽,分成两部分:域名 https://khach.com 被忽略,路径 /docs/api 是 includePaths 正则唯一匹配的部分。下方分两栏:左栏是错误写法 https://khach.com/docs/.*,永远匹配不上;右栏是正确写法 ^/docs/.*,能匹配 /docs/api 和 /docs/guides。
includePaths 和 excludePaths 是正则,只匹配 URL 的路径,不匹配完整 URL 或查询参数。来源:Firecrawl 文档。

客户的帮助中心用 JavaScript 渲染,curl 拿回来只是一个空的 HTML 壳;产品文档则散落在各种 PDF 和 DOCX 文件里。

Firecrawl 正是为这一步而生的。这家公司把自己的产品称为面向 AI Agent 的“context API”:给它一个线上网页,它返回干净的 Markdown 或结构化数据。

对前线部署工程师(FDE)来说,从“客户发来一个链接”到“Agent 能回答第一个问题”,这条路会因此短很多。但要用好它,得先弄清三件事:抓取范围、成本和数据新鲜度。

它替你扛下了什么?

根据 Firecrawl 的文档,这个工具处理了网页访问中最难的部分:代理、反爬机制、JavaScript 渲染和动态内容。输出格式包括 Markdown、结构化 JSON、截图等多种,都可以直接交给 LLM 读取。只为读客户的 FAQ 页面,不必再专门搭一个无头浏览器。

/scrape 端点针对单个 URL。它会根据 URL 识别 PDF、DOCX 等文档类型,并转换成 Markdown。所以客户给你一份以公开 PDF 发布的用户指南时,调用方式和抓 HTML 页面完全一样。

Crawl 针对整个站点。你提交一个根 URL,Firecrawl 借助 sitemap 和页面链接发现页面,再抓取所有能到达的子页面。

示例:只抓客户的文档

假设客户是一家软件公司,网站上有 /blog、/careers、/docs/api 和 /docs/guides,而客服 Agent 只需要两个 /docs 栏目。如果从首页开始不加限制地抓,Firecrawl 会一直抓到默认上限 10,000 页,每页消耗 1 个 credit。

用 includePaths 和 excludePaths 可以收窄范围。最常见的错误恰恰出在这里:这两个参数都是正则,只匹配 URL 的路径(pathname),不匹配完整 URL,也不匹配查询参数。写成 https://customer.com/docs/.* 的模式永远匹配不上,正确写法是 ^/docs/.*。

下面是一次试抓的请求体,仅作示意,只需要三个参数:

{
  "url": "https://customer.com",
  "includePaths": ["^/docs/.*"],
  "limit": 50
}

由于正则只看路径,includePaths 无法按 ?version=2 这类条件过滤。如果客户通过查询字符串区分文档版本,运行前先研究清楚 URL 结构。稳妥的顺序是:先 scrape 几个页面,再像上面那样用较小的 limit 试抓,数一数返回了多少页,然后才调高上限。

过期数据是个无声的陷阱

默认情况下,只要存在较新的副本,Firecrawl 就从缓存返回结果,缓存窗口为 2 天。第 2 版主打智能缓存,Firecrawl 称这能让抓取速度最高提升 10 倍。对大多数文档来说这是好事:更快,也减少了对客户网站的重复请求。

但想想价格页或更新日志。缓存最多可保留 2 天,如果客户今天早上刚调了价,你的 Agent 可能还在用旧价格回答。对这类 URL,设置 maxAge=0 绕过缓存:

{
  "url": "https://customer.com/pricing",
  "maxAge": 0
}

把这条约定写进给客户的交接文档:哪些 URL 走缓存,哪些每次都抓最新内容。

谁能抓,谁能自托管?

Crawl 默认遵守 robots.txt,只有 Enterprise 套餐能开启 ignoreRobotsTxt。即便能用这个功能,能否抓取客户网站也应写进书面协议,而不是写在配置文件里;对第三方网站,robots.txt 是不能越过的线。

许可方面,GitHub 仓库把 Firecrawl 描述为开源 API。核心部分采用 AGPL-3.0,SDK 和部分 UI 组件采用 MIT。如果客户想在自己的基础设施内自托管,先请客户的法务团队审查 AGPL,而这个问题应该由你主动提出。

Firecrawl 列出的客户包括 Zapier、Shopify 和 Replit,但真正能说服你客户的,是在他们自己网站上跑一遍 Markdown 试抓。

先学什么

从对难搞页面跑 /scrape 开始:一个 SPA,一个 PDF。目的是在切块之前看清 Markdown 输出长什么样。接着学会写路径正则、设置 limit,因为成本就在这里决定;之后再为每组 URL 制定缓存策略。

把这段经验写进简历时,别只写“用过 Firecrawl”。写清你如何为 RAG 搭建文档接入管道:怎样限定抓取范围,怎样估算成本,按什么规则刷新数据。这会让看简历的人知道,你认真对待客户数据,而不只是罗列工具名。

Firecrawl 能很快给你 Markdown。抓哪些页面、何时重新抓,仍然是你的事。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力客户的 CSV 迟早出错,让数据管道直接拒收MIT 许可的 Pandera 把合同条款写成 DataFrame 模式,在报告出错前指出出错的列、规则和值。