FDE Times 数据在招 FDE 职位 882▼2 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 52在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

很多 RAG 演示还没调用模型,就先败在了 PDF 上

源自 IBM Research 的 MIT 许可工具 Docling,转 Markdown 时保留版式和表格,可完全跑在客户自有服务器上。

分享微博

要点速览

  • Docling 用 DocLayNet 分析版式,用 TableFormer 重建表格结构,转成 Markdown 后表格和阅读顺序都能保留下来。
  • 它在普通硬件上即可本地运行,也支持离线隔离环境。客户文档敏感时,这一点直接决定能不能用。
  • HybridChunker 先按结构切分、再按 token 调整,并在每个分块里重复表头。Docling 自带 LangChain、LlamaIndex、Crew AI 和 Haystack 集成。
同一张合同 PDF 中三列价格表的两种读法。左侧,纯文本读取器把表格压成一串文字“SKU Price Unit A-102 45.000 box B-210 120.000 case”,其中 120.000 被高亮,旁边提问它是 A-102 还是 B-210 的价格。右侧,Docling 输出保留行列的 Markdown 表格,120.000 位于 B-210 那一行。
价格表一旦被压成文字,LLM 就无法确定哪个数字属于哪个 SKU。Docling 导出 Markdown 时保留了行列结构。图中数字仅作示意,与文中示例一致。

设想你在客户现场的第一周。对方交给你一个文件夹,里面是 PDF 格式的供应商合同,每份都有一张多列价格表,外加一个条件:文档不能离开内部服务器。

无论选哪个模型,只要读取 PDF 这一步把价格表压成一串文字、各列混在一起,RAG 演示照样会答错。

Docling 针对的正是这种故障。它是一个开源软件包,由 IBM Research 苏黎世实验室的 AI for knowledge 团队发起。

项目的技术报告于 2024 年 8 月 19 日发布在 arXiv 上,作者来自 IBM,包括 Auer、Lysak、Nassar、Dolfi、Staar 等人。报告称它是一款易用、自包含、采用 MIT 许可的工具。2025 年 4 月,IBM 将 Docling 捐赠给 Linux 基金会旗下的 LF AI & Data。

对前线部署工程师(FDE)来说,这一环之所以重要,是因为它位于数据管道的起点。文档摄取很少受到关注,下游的每个回答却都依赖它。负责这一环的人,往往就是救活演示的人。

Docling 和普通 PDF 读取器有什么不同?

普通文本提取器只按字符在页面上的位置读取。Docling 则尝试理解页面的样子,它用到两个专门模型:DocLayNet 负责分析版式,TableFormer 接收识别出的表格区域并重建其结构。

因此,据项目的 GitHub 页面介绍,Docling 能理解页面版式、阅读顺序和表格结构。理解了结构,它才能输出真正的 Markdown:标题仍是标题,表格仍是表格。

它适合客户项目还有另一个原因。技术报告指出 Docling 可在普通硬件上运行,官方文档也明确说明,它可以在本地处理敏感数据,并支持离线隔离(air-gapped)环境。

所以第一次和客户安全团队开会时,对方问“数据会不会出内网?”,你可以当场回答。

最小示例:从 PDF 到 Markdown

官方指南显示,只需几行 Python:创建一个 DocumentConverter,转换文档,再调用 export_to_markdown():

from docling.document_converter import DocumentConverter

source = "supplier_contract.pdf"
converter = DocumentConverter()
doc = converter.convert(source).document
print(doc.export_to_markdown())

回到合同里的价格表。假设有一张三列表格(商品编码、单价、单位),按纯文本读取,结果可能是这样连成一行:

商品编码 单价 单位 A-102 45.000 盒 B-210 120.000 箱

看着这一行,LLM 没有可靠的办法判断 120.000 是 A-102 还是 B-210 的价格。运行 Docling 之后,你希望看到的是行列完整的 Markdown 表格:

| 商品编码 | 单价    | 单位 |
|----------|---------|------|
| A-102    | 45.000  | 盒   |
| B-210    | 120.000 | 箱   |

上面的数字只是示意,但这项检查是实打实的。不要代码跑通就收工:打开 Markdown 输出,逐张核对表格,确认每个商品编码旁边是正确的单价,单位也没有错位到相邻列。

Markdown 不是唯一的导出格式,官方文档还列出了 HTML、WebVTT 和 DocLang。Markdown 最适合直接放进提示词,也方便肉眼检查。

查一张表很容易,量化一整批才有说服力

肉眼检查只适用于少量文件。客户问“表格读得怎么样?”时,你需要一个基于他们自己一批文档的数字。

最简单的做法:抽取一批表格样本,手工录入每张表的参考版本,然后统计有多少张表的行数、列数正确,且每个单元格都在正确的位置。

比如样本有 40 张表,31 张通过,保留率就是 31/40,即 77.5%。再把同一批样本交给客户现在用的提取器跑一遍,立刻就有了一组“前后对比”。

通过率有个弱点:只错一个单元格的表格也算完全失败。想要更精细的衡量,可以用 TEDS(基于树编辑距离的相似度,Tree-Edit-Distance-based Similarity),这是 2019 年一项研究为表格识别问题提出的指标。

TEDS 从行列结构和单元格内容两方面比较预测表格与参考表格,给出一个相似度分数;在样本上取平均,就得到整批的分数。两个数字都报给客户:完美表格占比好理解,TEDS 分数则能说明错误是严重还是轻微。

按结构分块,而不是按字符数

转换只完成了一半。把文档切成 500 字符一段,最容易把刚保留下来的价格表切断,或者把条款和它的标题拆开。

Docling 的 HybridChunker 专门处理这个问题。它先按文档的层级结构切分,再用分词器细化,通常是与你的嵌入模型配套的分词器:只拆分过大的分块,合并相邻的小分块,让每个分块都在模型接受的 token 上限之内。

from docling.chunking import HybridChunker

chunker = HybridChunker()
for i, chunk in enumerate(chunker.chunk(dl_doc=doc)):
    print(i, chunk.text[:80])

对于必须拆到多个分块里的长表格,Docling 默认会在每个分块开头重复表头行。打印输出时,要检查的正是这一点:价格表的第二个分块仍应以“商品编码 | 单价 | 单位”开头。

下一步也不必自己写胶水代码。Docling 自带 LangChain、LlamaIndex、Crew AI 和 Haystack 的集成,如果客户已经在其中某个框架上搭好了技术栈,Docling 只替换文档摄取这一环。

没在最差的文档上测过,什么都别承诺

专门模型也还是模型。歪斜、模糊、表格上还盖着印章的扫描件,很可能让版式分析和表格识别比 Word 导出的 PDF 难得多。

所以不要在幻灯片上承诺准确率。向客户要他们手里最差的文档,交给 Docling 跑一遍,按上面的方法测量表格保留率,把真实结果给他们看,包括仍然出错的地方。

本地运行也有代价:算力成了你的问题,而不再是外部 API 的问题。文档有几千份时,先在客户自己的服务器上测出处理时间,再承诺上线时间表。

先学什么,简历上写什么

按这个顺序学:PDF 转 Markdown,阅读输出、找出损坏的表格,建立用于对照的参考表格集,然后才是 HybridChunker 和框架集成。读一读 arXiv 上的技术报告,有助于理解 DogLayNet 和 TableFormer 各自做什么,这样你才能解释某张表为什么读错了。

看岗位描述时,留意“document ingestion”“unstructured data”或“on-prem deployment”这类说法,它们说明这家公司面临的正是这个问题。

简历上,一句带数字的描述比“有 RAG 经验”有分量得多,例如:“为表格密集型文档搭建本地摄取管道,在与参考表格对照的样本上,将结构正确的表格占比从 X% 提升到 Y%”。

客户记住的,是那个让 RAG 演示在他们自己杂乱的 PDF 上跑通、并能用数字证明的 FDE,而不是挑了最新模型的那位。Docling 是做到这一点的捷径之一。

这篇文章对你有帮助吗?

8 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力漏掉一次除法,首次工厂演示把 35°C 显示成 350Node-RED 一个下午就能把 Modbus、OPC UA 接到 MQTT,坑在数值换算、装包重启和编辑器安全。