# 很多 RAG 演示还没调用模型，就先败在了 PDF 上

> 源自 IBM Research 的 MIT 许可工具 Docling，转 Markdown 时保留版式和表格，可完全跑在客户自有服务器上。

原文: https://fdetimes.net/zh/tools/docling-pdf-tables-to-markdown-rag/

设想你在客户现场的第一周。对方交给你一个文件夹，里面是 PDF 格式的供应商合同，每份都有一张多列价格表，外加一个条件：文档不能离开内部服务器。

无论选哪个模型，只要读取 PDF 这一步把价格表压成一串文字、各列混在一起，RAG 演示照样会答错。

Docling 针对的正是这种故障。它是一个开源软件包，由 IBM Research 苏黎世实验室的 AI for knowledge 团队发起。

项目的技术报告于 2024 年 8 月 19 日发布在 arXiv 上，作者来自 IBM，包括 Auer、Lysak、Nassar、Dolfi、Staar 等人。报告称它是一款易用、自包含、采用 MIT 许可的工具。2025 年 4 月，IBM 将 Docling 捐赠给 Linux 基金会旗下的 LF AI & Data。

对前线部署工程师（FDE）来说，这一环之所以重要，是因为它位于数据管道的起点。文档摄取很少受到关注，下游的每个回答却都依赖它。负责这一环的人，往往就是救活演示的人。

## Docling 和普通 PDF 读取器有什么不同？

普通文本提取器只按字符在页面上的位置读取。Docling 则尝试理解页面的样子，它用到两个专门模型：DocLayNet 负责分析版式，TableFormer 接收识别出的表格区域并重建其结构。

因此，据项目的 GitHub 页面介绍，Docling 能理解页面版式、阅读顺序和表格结构。理解了结构，它才能输出真正的 Markdown：标题仍是标题，表格仍是表格。

它适合客户项目还有另一个原因。技术报告指出 Docling 可在普通硬件上运行，官方文档也明确说明，它可以在本地处理敏感数据，并支持离线隔离（air-gapped）环境。

所以第一次和客户安全团队开会时，对方问“数据会不会出内网？”，你可以当场回答。

## 最小示例：从 PDF 到 Markdown

官方指南显示，只需几行 Python：创建一个 `DocumentConverter`，转换文档，再调用 `export_to_markdown()`：

```python
from docling.document_converter import DocumentConverter

source = "supplier_contract.pdf"
converter = DocumentConverter()
doc = converter.convert(source).document
print(doc.export_to_markdown())
```

回到合同里的价格表。假设有一张三列表格（商品编码、单价、单位），按纯文本读取，结果可能是这样连成一行：

```text
商品编码 单价 单位 A-102 45.000 盒 B-210 120.000 箱
```

看着这一行，LLM 没有可靠的办法判断 120.000 是 A-102 还是 B-210 的价格。运行 Docling 之后，你希望看到的是行列完整的 Markdown 表格：

```text
| 商品编码 | 单价    | 单位 |
|----------|---------|------|
| A-102    | 45.000  | 盒   |
| B-210    | 120.000 | 箱   |
```

上面的数字只是示意，但这项检查是实打实的。不要代码跑通就收工：打开 Markdown 输出，逐张核对表格，确认每个商品编码旁边是正确的单价，单位也没有错位到相邻列。

Markdown 不是唯一的导出格式，官方文档还列出了 HTML、WebVTT 和 DocLang。Markdown 最适合直接放进提示词，也方便肉眼检查。

## 查一张表很容易，量化一整批才有说服力

肉眼检查只适用于少量文件。客户问“表格读得怎么样？”时，你需要一个基于他们自己一批文档的数字。

最简单的做法：抽取一批表格样本，手工录入每张表的参考版本，然后统计有多少张表的行数、列数正确，且每个单元格都在正确的位置。

比如样本有 40 张表，31 张通过，保留率就是 31/40，即 77.5%。再把同一批样本交给客户现在用的提取器跑一遍，立刻就有了一组“前后对比”。

通过率有个弱点：只错一个单元格的表格也算完全失败。想要更精细的衡量，可以用 TEDS（基于树编辑距离的相似度，Tree-Edit-Distance-based Similarity），这是 2019 年一项研究为表格识别问题提出的指标。

TEDS 从行列结构和单元格内容两方面比较预测表格与参考表格，给出一个相似度分数；在样本上取平均，就得到整批的分数。两个数字都报给客户：完美表格占比好理解，TEDS 分数则能说明错误是严重还是轻微。

## 按结构分块，而不是按字符数

转换只完成了一半。把文档切成 500 字符一段，最容易把刚保留下来的价格表切断，或者把条款和它的标题拆开。

Docling 的 HybridChunker 专门处理这个问题。它先按文档的层级结构切分，再用分词器细化，通常是与你的嵌入模型配套的分词器：只拆分过大的分块，合并相邻的小分块，让每个分块都在模型接受的 token 上限之内。

```python
from docling.chunking import HybridChunker

chunker = HybridChunker()
for i, chunk in enumerate(chunker.chunk(dl_doc=doc)):
    print(i, chunk.text[:80])
```

对于必须拆到多个分块里的长表格，Docling 默认会在每个分块开头重复表头行。打印输出时，要检查的正是这一点：价格表的第二个分块仍应以“商品编码 | 单价 | 单位”开头。

**要点:** RAG 的质量在读取文档时就已决定，早于任何内容到达模型。

下一步也不必自己写胶水代码。Docling 自带 LangChain、LlamaIndex、Crew AI 和 Haystack 的集成，如果客户已经在其中某个框架上搭好了技术栈，Docling 只替换文档摄取这一环。

## 没在最差的文档上测过，什么都别承诺

专门模型也还是模型。歪斜、模糊、表格上还盖着印章的扫描件，很可能让版式分析和表格识别比 Word 导出的 PDF 难得多。

所以不要在幻灯片上承诺准确率。向客户要他们手里最差的文档，交给 Docling 跑一遍，按上面的方法测量表格保留率，把真实结果给他们看，包括仍然出错的地方。

本地运行也有代价：算力成了你的问题，而不再是外部 API 的问题。文档有几千份时，先在客户自己的服务器上测出处理时间，再承诺上线时间表。

## 先学什么，简历上写什么

按这个顺序学：PDF 转 Markdown，阅读输出、找出损坏的表格，建立用于对照的参考表格集，然后才是 HybridChunker 和框架集成。读一读 arXiv 上的技术报告，有助于理解 DogLayNet 和 TableFormer 各自做什么，这样你才能解释某张表为什么读错了。

看岗位描述时，留意“document ingestion”“unstructured data”或“on-prem deployment”这类说法，它们说明这家公司面临的正是这个问题。

简历上，一句带数字的描述比“有 RAG 经验”有分量得多，例如：“为表格密集型文档搭建本地摄取管道，在与参考表格对照的样本上，将结构正确的表格占比从 X% 提升到 Y%”。

客户记住的，是那个让 RAG 演示在他们自己杂乱的 PDF 上跑通、并能用数字证明的 FDE，而不是挑了最新模型的那位。Docling 是做到这一点的捷径之一。

**本周动手试试:**

- 从手头最难处理的文档里挑 20 张表格，包括扫描件。分别交给 Docling 和你现在用的提取器，算出各自行列正确的表格占比。
- 写一个小脚本，用 HybridChunker 对含长表格的文档分块，打印每个分块，检查表头是否在每个分块开头重新出现。
- 为客户安全团队准备一段简短说明：Docling 为什么能在本地运行（包括离线隔离环境），以及为什么 MIT 许可允许用于商业项目。

## 信源

- [Docling Technical Report](https://arxiv.org/abs/2408.09869)

- [GitHub - docling-project/docling](https://github.com/docling-project/docling)

- [Index - Docling (official docs)](https://docling-project.github.io/docling/)

- [Index - Docling (official usage docs)](https://docling-project.github.io/docling/usage/)

- [Chunking - Docling](https://docling-project.github.io/docling/concepts/chunking/)

- [Docling: An open-source tool kit for advanced document processing](https://www.infoworld.com/article/3997240/docling-an-open-source-tool-kit-for-advanced-document-processing.html)

- [AI Workflows Get New Open Source Tools to Advance Document Intelligence, Data Quality, and Decentralized AI](https://www.linuxfoundation.org/press/ai-workflows-get-new-open-source-tools-to-advance-document-intelligence-data-quality-and-decentralized-ai-with-ibms-contribution-of-3-projects-to-linux-fou-1745937200621)

- [Image-based table recognition: data, model, and evaluation](https://arxiv.org/abs/1911.10683)
