# RAG 演示一碰客户文件就失灵，问题不在模型

> 表格被切断、OCR 丢掉越南语声调、合同编号被当噪声：解析前先给文件分组。

原文: https://fdetimes.net/zh/guides/rag-messy-pdfs-tables-vietnamese-scans/

设想你在客户现场的第一周。你拿到一个共享文件夹的权限，里面有几百个文件：从 Word 导出成 PDF 的合同，满是表格的季度报告，还有一叠歪斜的扫描发票，红色公章盖在文字上。

检索增强生成（RAG）演示在样例文件上跑得很漂亮，到了这里，第一个问题就答错了：“0457 号合同的付款截止日期是哪天？”

很多工程师的第一反应是换嵌入模型，或者调大 top-k。但问题很少出在这里。答案不在前 20 个结果里，是因为系统根本没有正确读懂那一页：表格被切成两半，OCR 丢掉了声调符号，嵌入模型又把编号“0457”当成了噪声。

正确的做法是从原始文件到检索结果，逐个阶段追踪数据。对前线部署工程师（FDE）来说，最有价值的能力是在动手修之前，先找准是哪个阶段出了问题。

**要点:** 真实文档上的 RAG，往往先坏在读文档这一步，然后才轮到检索。

## 第一步：解析之前先给文件分类

不要把整个文件夹塞进同一个解析器。随机打开几十个文件，分成三组。每组的失败方式不同，需要各自的处理分支。

| 文档类型 | 主要风险 | 建议处理方式 |
|---|---|---|
| 带文本层的 PDF（从 Word 导出） | 标题结构丢失，页眉页脚重复 | 使用版面感知解析器，按标题分块 |
| 表格密集的 PDF | 表格行被拆开，多列被并成一行文本 | 单独抽取表格，让每张表和它的标题待在一起 |
| 扫描件、照片 | OCR 认错声调符号，噪声，公章遮挡 | 使用专门的越南语 OCR，或直接从页面图像检索 |

检验方法很简单：试着在文件里选中文字。能选中，说明文件有文本层；选不中，它就是图像，需要 OCR。

光这一步，就能让你在第一周给客户报一个数字，比如文档库里有多大比例是扫描件。这个数字在很大程度上决定了后续的工作量。

## 表格：别让解析器把一行拆开

价目表或付款计划如果按普通文本读取，就会变成一串数字，看不出每个数字属于哪一列。更糟的是，按 token 数切分的分块器可能把表头放进一个分块，把数据行放进下一个。

Cohere 关于混合数据 RAG 的文档推荐用 Unstructured 解析 PDF，因为它能把表格和正文分开。它还会在解析时按标题对表格和正文分块，让相关元素留在一起。

IBM 的 Docling 思路类似，用专门的模型做版面分析（在 DocLayNet 上训练）和表格结构识别。入门的最小代码如下：

```python
from docling.document_converter import DocumentConverter


converter = DocumentConverter()
result = converter.convert("q3_report.pdf")
markdown = result.document.export_to_markdown()
# 打开 markdown 亲自读一遍：表格的每一行、每一列都还在吗？
```

真正要紧的是最后那行注释：打开 markdown，亲眼检查每一行、每一列是否完好。建索引之前，把最难的几张表重读一遍，比如有合并单元格的表、跨两页的表。如果表格在这一步就已经坏了，什么重排序模型都救不回来。

## 越南语扫描件：最先坏的是声调符号

越南语使用拉丁字母，但带有大量变音符号，用来标声调、区分元音。对 OCR 而言，每个变音符号都是一个小细节，噪声、褪色的笔画或一枚红色公章都可能把它抹掉。

2025 年一篇关于越南语文档识别的综述指出，Tesseract 支持越南语，但由于它处理变音符号和文档噪声的方式，准确率仍然有限。

如果“Hạn thanh toán”（付款截止日期）变成了“Han thanh toan”，BM25 就再也匹配不上用户问题里的词。如果“bảo hành”（保修）被读成“bào hành”，嵌入模型可能会把它拉向一个完全不同的主题。

所以，建索引之前要先测变音符号错误。手工重打一页作为参照，用 `lang="vie"` 运行 Tesseract，然后统计字母正确但变音符号错误的词：

```python
import difflib, unicodedata
import pytesseract
from PIL import Image

def strip_diacritics(s):
    s = s.replace("đ", "d").replace("Đ", "D")
    return "".join(c for c in unicodedata.normalize("NFD", s)
                   if unicodedata.category(c) != "Mn")

ocr = pytesseract.image_to_string(Image.open("invoice_01.png"), lang="vie")
reference = open("invoice_01_reference.txt", encoding="utf-8").read()  # 手工录入的参照文本

ocr_w = unicodedata.normalize("NFC", ocr).split()
ref_w = unicodedata.normalize("NFC", reference).split()

diacritic_errors = 0
sm = difflib.SequenceMatcher(a=ref_w, b=ocr_w, autojunk=False)
for tag, i1, i2, j1, j2 in sm.get_opcodes():
    if tag == "replace":
        for r, o in zip(ref_w[i1:i2], ocr_w[j1:j2]):
            if strip_diacritics(r) == strip_diacritics(o):  # 同一个词，变音符号不同
                diacritic_errors += 1

print(f"变音符号错误的词数：{diacritic_errors}/{len(ref_w)}")
```

NFC 规范化这一步很重要。同一个字符“ệ”可以存成两种不同的 Unicode 序列，不做规范化，你会把本来正确的词也算成错误。

同一篇综述还介绍了 MC-OCR 2021 收据识别竞赛中的典型流程：CRAFT 检测文本区域，VietOCR 识别文字，再用规则抽取信息。可以借鉴的是：把 OCR 拆成检测和识别两个阶段，这样就知道错误出在哪个阶段。

还有一个选项：干脆跳过 OCR。ColPali 用视觉语言模型直接从文档页面图像生成多向量嵌入，绕开了脆弱的文本抽取环节。如果文档库里都是质量很差的扫描件，值得让 ColPali 和 OCR 并行跑，用同一组问题对比结果。

## 分块需要知道自己出自哪里

假设解析和 OCR 都没问题，还剩一个问题：“乙方应在验收后 30 天内付款”这个分块，并没有说明它出自哪份合同、属于哪个客户。

Anthropic 的 Contextual Retrieval 正是为此而来。建索引之前，由模型写一小段上下文，通常 50 到 100 个 token，加在每个分块前面。例如：“摘自 A 公司与 B 公司之间 0457 号合同第 5 条，付款条款部分。”

这段上下文不只进入嵌入。借助 Contextual BM25，补充了上下文的分块也会写入 BM25 索引，于是一个包含“0457”的问题能匹配到付款条款，即便条款本身从未提到这个编号。

这就是值得加上 BM25 的原因。它是基于精确词匹配的排序函数，恰好能抓住嵌入模型容易漏掉的东西：合同编号、参考代码和专有名称，而客户文档里到处都是这些。

根据 Anthropic 自己的测量，Contextual Embeddings 让前 20 个分块的检索失败率降低 35%。再加上 Contextual BM25，降幅达到 49%；再加重排序，降幅达到 67%。换算到一个假设的测试集：原本有 100 次检索失败，每加一步，依次降到 65、51、33 次。

不要向客户承诺这些数字。它们是在 Anthropic 的数据上测出来的，不是在你客户的发票档案上。真正该带走的是方法：每做一项改动，就在这个具体的文档库上重新测量失败率。

## 按顺序重建

1. 从客户的用户那里收集 20 到 30 个真实问题，每个问题附上包含答案的页面。这组问题是后续所有决策的标尺。
2. 把文件分成三组：文本 PDF、表格密集的 PDF、扫描件。
3. 为每组选择处理分支：表格组用版面感知解析器（Unstructured、Docling），扫描件用越南语 OCR 或 ColPali。
4. 每组抽一小批样本人工检查，并对扫描件运行变音符号错误统计脚本。
5. 按标题分块，再给每个分块前面加一段上下文。
6. 把补充了上下文的分块同时写入向量索引和 BM25 索引，并加上重排序模型。
7. 用问题集重新测量前 20 个结果中正确分块的比例。每次只改一个变量，否则你不会知道提升从何而来。

## 常见错误

最常见的错误是只看最终答案，不看前 20 个分块。答案错了，你需要知道是检索错误还是生成错误，两者的修法完全不同。

第二个错误是为了“统一”，把索引和问题里的越南语变音符号全部去掉。这样会抹掉不同含义词语之间的区别。如果确实需要规范化，要同时保留一份带声调的版本。

第三个错误是只在干净的文件上测试。问题集必须包含这些问题：答案在带合并单元格的表格里、在模糊的扫描页上、在含参考编号的文本中。真实用户问的恰恰就是这些。

阅读 FDE 岗位描述时，留意“document ingestion”“OCR”“unstructured data”这类字眼。在简历上，“在越南语扫描发票库上把正确检索率从 X 提升到 Y”这样一句话，比“搭建了一个 RAG 系统”有分量得多。

客户从不会交给你干净的数据。能交付的人，是在打开 notebook 之前先打开 PDF 读一遍的人。

**本周动手试试:**

- 找 10 页真实的越南语 PDF（发票、合同、带表格的报告），分别用 lang='vie' 的 Tesseract 和 Docling 处理，再用本文的脚本统计每页的变音符号错误
- 写 20 个答案位于表格中或包含参考编号的问题，分别测量只用向量检索、以及加上 BM25 后，前 20 个结果中正确分块的比例
- 在简历里加一行，描述这条数据管道和你自己的测量结果，例如修复前后的正确检索率

## 信源

- [Introducing Contextual Retrieval](https://www.anthropic.com/news/contextual-retrieval)

- [Agentic RAG with mixed data (Cohere docs)](https://docs.cohere.com/page/agentic-rag-mixed-data)

- [Docling Technical Report](https://arxiv.org/abs/2408.09869)

- [A Survey on Vietnamese Document Analysis and Recognition: Challenges and Future Directions](https://arxiv.org/html/2506.05061v1)

- [ColPali: Efficient Document Retrieval with Vision Language Models](https://arxiv.org/abs/2407.01449)
