Unstructured 的默认设置,会让 RAG 索引漏掉邮件附件
按结构解析 Word、PowerPoint 和邮件,每个分块都能保留 parent_id,前提是索引前先改几项设置。
要点速览
- Unstructured 为 .docx 和 .pptx 分别提供解析函数,返回的元素带有表明其在文档中位置的元数据。
- 解析邮件时,只有设置 process_attachments=True 才会处理附件。
- by_title 能保证每个分块不跨章节,但默认的 500 字符上限要根据客户文档调整。
客户的知识库很少放在数据库里。它散落在 Word 合同、给董事会准备的 PowerPoint 演示文稿,以及正文只有寥寥数语、真正内容都在附件里的邮件往来中。如果把这些文本合并成一整块,每隔 N 个字符切一刀再交给 RAG,最重要的东西就丢了:结构。
内容在摄取阶段一旦被切碎或漏掉,之后换模型、调提示词都很难补回来。检索器找不到从未进入索引的内容。
Unstructured 是一个采用 Apache-2.0 许可证的开源库。开发者称它免费,目标是把文档转成结构化数据。据该公司介绍,支持的格式包括 Word、PowerPoint 和邮件,以及 Excel、HTML、图片和扫描件。
分块之前,先弄清每一块是什么
Unstructured 的第一步是分区(partitioning):把原始文档预处理成元素。Word .docx 文件有专门的函数 partition_docx,PowerPoint .pptx 文件则用 partition_pptx。
返回的不是一整块扁平文本,而是一组元素,每个元素都带有元数据。parent_id 字段表明元素在文档层级中的位置,检索到某个分块时,可以据此追溯到它来自哪一节。
这些元数据应当随每个分块一起进入索引。Jim Allen Wallace 在 Redis 博客上写道,文档名、章节标题和页码等字段对检索排序和回答质量都有帮助。对客户来说,这还意味着系统能注明出处是“第 4.2 条,第 7 页”,而不是返回一段来源不明的文本。
邮件:真正的内容往往在附件里
默认设置造成损失最大的地方就是邮件。Unstructured 的文档说明,只有设置 process_attachments=True 时才会解析附件。LangChain 的 UnstructuredEmailLoader 封装了 Unstructured,它的文档同样把这一项列为需要手动开启的选项。
设想一封与客户往来的邮件,正文只有一句“详见附件”,12 页的方案放在 Word 文件里。忘了这个参数,RAG 系统看到的只有问候语。
开启之后,从附件生成的元素会带上一个元数据字段,记录它所附属的文件。这样,基于方案内容生成的回答仍能指回送达这份方案的那封邮件。
用 by_title 保住章节边界,再调整 500 这个数
接下来是分块。by_title 策略会保留章节边界,需要的话也能保留页面边界。实际效果是,不会有哪个分块同时装着“付款条款”的后半部分和“质保”的前半部分。
要留意的数字是 max_characters,即分块大小的硬上限,默认值为 500 个字符。以一个 1,800 字符的“违约金条款”为例:1,800 大于 3 × 500,这一节至少要切成四个分块。
如果违约金的触发条件在第一个分块,金额在最后一个分块,那么“延迟交付的违约金是多少?”这样的问题可能只检索到一半答案。Redis 的文章阐述了按结构分块背后的原则:元素只有在超过最大尺寸时才会被拆分,否则保持完整。
所以真正的问题是上限设在哪里。Redis 建议把分块大小当作需要调优的参数,而不是从旧配置里照搬一个数。依据应当是客户文档中各章节的实际长度,以及评测结果。
表格最容易被拆坏
表格过大时,Unstructured 会按文本切开,拆成若干 TableChunk。设想客户问到一份几页长的价目表或 SLA 表:表格要是切错了位置,答案也会跟着出错。
Redis 把忽视结构列为生产环境中的常见故障:表格和表头行分离,列表和标题分离,分块失去原本的含义。一个只有数字、没有列名的表格片段,即使被检索到也没多大用处。
解决办法先从尺寸上限入手。元素只有超过 max_characters 才会被拆分,因此把上限调到足以容纳重要表格,就能让每张表完整地留在一个分块里。对于仍然过长的表格,逐个查看 TableChunk,确认哪些片段还带着列表头行,哪些已经丢失。
一段代码,三个步骤
合在一起,一个最小的数据管道有三步:分区,亲自查看元素,再按章节分块,并把上限设得高于默认值。
from unstructured.partition.docx import partition_docx
from unstructured.partition.email import partition_email
from unstructured.chunking.title import chunk_by_title
elements = partition_docx(filename="contract.docx")
# 打印前 10 个元素,查看文档是如何拆分的
for el in elements[:10]:
print(type(el).__name__, "|", el.metadata.parent_id, "|", el.text[:60])
chunks = chunk_by_title(elements, max_characters=2000)
print(len(chunks), "个分块")
# 邮件:只有开启这一项,才会解析附件
mail = partition_email(filename="quote.eml", process_attachments=True)
2000 只是一个起点,是针对上文例子中 1,800 字符的章节选定的。用同一组真实问题分别测试 500 和 2000,保留回答更完整的那个。
演示之前,先排查这五个错误
在为整个文档集建立索引之前,先过一遍下表。每一行是一个错误、识别方法和应对办法。
| 常见错误 | 症状 | 应对办法 |
|---|---|---|
| 没有开启附件解析 | RAG 只返回邮件里的问候语 | 设置 process_attachments=True |
| 上限保持 500 字符不变 | 回答漏掉条款的后半部分 | 用真实问题对比两个 max_characters 取值 |
| 表格被切开 | 表格片段没有列名 | 调高 max_characters,逐个复查 TableChunk |
| 生成嵌入时丢掉元数据 | 无法注明章节或页码 | 每个分块都存上章节标题、页码和 parent_id |
| 不抽查样本就跑全量文档 | 章节无故被合并或拆散 | 先解析几个样本文件,亲自逐个查看元素 |
最后一行不要跳过。花一个下午解析几个客户自己的文件、读一遍元素列表,成本远低于等整个文档集都生成嵌入之后,才发现章节被合并、表格被拆坏。
把这项技能写进简历时,不要只写“用过 Unstructured”。要写清楚你处理了邮件附件、保住了表格完整、按章节长度调整了分块大小,以及因此在客户的真实问题上多答对了多少。
演示时,客户不会问你选了哪个嵌入模型。他们会问,为什么系统找不到上周邮件里的报价,而答案往往是某个你没打开的参数。
这篇文章对你有帮助吗?
感谢你的反馈!