RAG 演示一碰客户文件就失灵,问题不在模型
表格被切断、OCR 丢掉越南语声调、合同编号被当噪声:解析前先给文件分组。
要点速览
- 真实文档上的 RAG 失败,通常在解析和 OCR 阶段就已开始,轮不到向量嵌入。
- 表格要单独抽取,并按标题分块;越南语扫描件需要检查变音符号。
- 给分块补充上下文,把 BM25 与向量检索结合,再做重排序。Anthropic 自己的测量显示,检索失败最多可减少 67%。
设想你在客户现场的第一周。你拿到一个共享文件夹的权限,里面有几百个文件:从 Word 导出成 PDF 的合同,满是表格的季度报告,还有一叠歪斜的扫描发票,红色公章盖在文字上。
检索增强生成(RAG)演示在样例文件上跑得很漂亮,到了这里,第一个问题就答错了:“0457 号合同的付款截止日期是哪天?”
很多工程师的第一反应是换嵌入模型,或者调大 top-k。但问题很少出在这里。答案不在前 20 个结果里,是因为系统根本没有正确读懂那一页:表格被切成两半,OCR 丢掉了声调符号,嵌入模型又把编号“0457”当成了噪声。
正确的做法是从原始文件到检索结果,逐个阶段追踪数据。对前线部署工程师(FDE)来说,最有价值的能力是在动手修之前,先找准是哪个阶段出了问题。
第一步:解析之前先给文件分类
不要把整个文件夹塞进同一个解析器。随机打开几十个文件,分成三组。每组的失败方式不同,需要各自的处理分支。
| 文档类型 | 主要风险 | 建议处理方式 |
|---|---|---|
| 带文本层的 PDF(从 Word 导出) | 标题结构丢失,页眉页脚重复 | 使用版面感知解析器,按标题分块 |
| 表格密集的 PDF | 表格行被拆开,多列被并成一行文本 | 单独抽取表格,让每张表和它的标题待在一起 |
| 扫描件、照片 | OCR 认错声调符号,噪声,公章遮挡 | 使用专门的越南语 OCR,或直接从页面图像检索 |
检验方法很简单:试着在文件里选中文字。能选中,说明文件有文本层;选不中,它就是图像,需要 OCR。
光这一步,就能让你在第一周给客户报一个数字,比如文档库里有多大比例是扫描件。这个数字在很大程度上决定了后续的工作量。
表格:别让解析器把一行拆开
价目表或付款计划如果按普通文本读取,就会变成一串数字,看不出每个数字属于哪一列。更糟的是,按 token 数切分的分块器可能把表头放进一个分块,把数据行放进下一个。
Cohere 关于混合数据 RAG 的文档推荐用 Unstructured 解析 PDF,因为它能把表格和正文分开。它还会在解析时按标题对表格和正文分块,让相关元素留在一起。
IBM 的 Docling 思路类似,用专门的模型做版面分析(在 DocLayNet 上训练)和表格结构识别。入门的最小代码如下:
from docling.document_converter import DocumentConverter
converter = DocumentConverter()
result = converter.convert("q3_report.pdf")
markdown = result.document.export_to_markdown()
# 打开 markdown 亲自读一遍:表格的每一行、每一列都还在吗?
真正要紧的是最后那行注释:打开 markdown,亲眼检查每一行、每一列是否完好。建索引之前,把最难的几张表重读一遍,比如有合并单元格的表、跨两页的表。如果表格在这一步就已经坏了,什么重排序模型都救不回来。
越南语扫描件:最先坏的是声调符号
越南语使用拉丁字母,但带有大量变音符号,用来标声调、区分元音。对 OCR 而言,每个变音符号都是一个小细节,噪声、褪色的笔画或一枚红色公章都可能把它抹掉。
2025 年一篇关于越南语文档识别的综述指出,Tesseract 支持越南语,但由于它处理变音符号和文档噪声的方式,准确率仍然有限。
如果“Hạn thanh toán”(付款截止日期)变成了“Han thanh toan”,BM25 就再也匹配不上用户问题里的词。如果“bảo hành”(保修)被读成“bào hành”,嵌入模型可能会把它拉向一个完全不同的主题。
所以,建索引之前要先测变音符号错误。手工重打一页作为参照,用 lang="vie" 运行 Tesseract,然后统计字母正确但变音符号错误的词:
import difflib, unicodedata
import pytesseract
from PIL import Image
def strip_diacritics(s):
s = s.replace("đ", "d").replace("Đ", "D")
return "".join(c for c in unicodedata.normalize("NFD", s)
if unicodedata.category(c) != "Mn")
ocr = pytesseract.image_to_string(Image.open("invoice_01.png"), lang="vie")
reference = open("invoice_01_reference.txt", encoding="utf-8").read() # 手工录入的参照文本
ocr_w = unicodedata.normalize("NFC", ocr).split()
ref_w = unicodedata.normalize("NFC", reference).split()
diacritic_errors = 0
sm = difflib.SequenceMatcher(a=ref_w, b=ocr_w, autojunk=False)
for tag, i1, i2, j1, j2 in sm.get_opcodes():
if tag == "replace":
for r, o in zip(ref_w[i1:i2], ocr_w[j1:j2]):
if strip_diacritics(r) == strip_diacritics(o): # 同一个词,变音符号不同
diacritic_errors += 1
print(f"变音符号错误的词数:{diacritic_errors}/{len(ref_w)}")
NFC 规范化这一步很重要。同一个字符“ệ”可以存成两种不同的 Unicode 序列,不做规范化,你会把本来正确的词也算成错误。
同一篇综述还介绍了 MC-OCR 2021 收据识别竞赛中的典型流程:CRAFT 检测文本区域,VietOCR 识别文字,再用规则抽取信息。可以借鉴的是:把 OCR 拆成检测和识别两个阶段,这样就知道错误出在哪个阶段。
还有一个选项:干脆跳过 OCR。ColPali 用视觉语言模型直接从文档页面图像生成多向量嵌入,绕开了脆弱的文本抽取环节。如果文档库里都是质量很差的扫描件,值得让 ColPali 和 OCR 并行跑,用同一组问题对比结果。
分块需要知道自己出自哪里
假设解析和 OCR 都没问题,还剩一个问题:“乙方应在验收后 30 天内付款”这个分块,并没有说明它出自哪份合同、属于哪个客户。
Anthropic 的 Contextual Retrieval 正是为此而来。建索引之前,由模型写一小段上下文,通常 50 到 100 个 token,加在每个分块前面。例如:“摘自 A 公司与 B 公司之间 0457 号合同第 5 条,付款条款部分。”
这段上下文不只进入嵌入。借助 Contextual BM25,补充了上下文的分块也会写入 BM25 索引,于是一个包含“0457”的问题能匹配到付款条款,即便条款本身从未提到这个编号。
这就是值得加上 BM25 的原因。它是基于精确词匹配的排序函数,恰好能抓住嵌入模型容易漏掉的东西:合同编号、参考代码和专有名称,而客户文档里到处都是这些。
根据 Anthropic 自己的测量,Contextual Embeddings 让前 20 个分块的检索失败率降低 35%。再加上 Contextual BM25,降幅达到 49%;再加重排序,降幅达到 67%。换算到一个假设的测试集:原本有 100 次检索失败,每加一步,依次降到 65、51、33 次。
不要向客户承诺这些数字。它们是在 Anthropic 的数据上测出来的,不是在你客户的发票档案上。真正该带走的是方法:每做一项改动,就在这个具体的文档库上重新测量失败率。
按顺序重建
- 从客户的用户那里收集 20 到 30 个真实问题,每个问题附上包含答案的页面。这组问题是后续所有决策的标尺。
- 把文件分成三组:文本 PDF、表格密集的 PDF、扫描件。
- 为每组选择处理分支:表格组用版面感知解析器(Unstructured、Docling),扫描件用越南语 OCR 或 ColPali。
- 每组抽一小批样本人工检查,并对扫描件运行变音符号错误统计脚本。
- 按标题分块,再给每个分块前面加一段上下文。
- 把补充了上下文的分块同时写入向量索引和 BM25 索引,并加上重排序模型。
- 用问题集重新测量前 20 个结果中正确分块的比例。每次只改一个变量,否则你不会知道提升从何而来。
常见错误
最常见的错误是只看最终答案,不看前 20 个分块。答案错了,你需要知道是检索错误还是生成错误,两者的修法完全不同。
第二个错误是为了“统一”,把索引和问题里的越南语变音符号全部去掉。这样会抹掉不同含义词语之间的区别。如果确实需要规范化,要同时保留一份带声调的版本。
第三个错误是只在干净的文件上测试。问题集必须包含这些问题:答案在带合并单元格的表格里、在模糊的扫描页上、在含参考编号的文本中。真实用户问的恰恰就是这些。
阅读 FDE 岗位描述时,留意“document ingestion”“OCR”“unstructured data”这类字眼。在简历上,“在越南语扫描发票库上把正确检索率从 X 提升到 Y”这样一句话,比“搭建了一个 RAG 系统”有分量得多。
客户从不会交给你干净的数据。能交付的人,是在打开 notebook 之前先打开 PDF 读一遍的人。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- Introducing Contextual Retrieval · 2024-09-19
- Agentic RAG with mixed data (Cohere docs)
- Docling Technical Report · 2024-08-19
- A Survey on Vietnamese Document Analysis and Recognition: Challenges and Future Directions · 2025-06-05
- ColPali: Efficient Document Retrieval with Vision Language Models · 2024-06-27