# Unstructured 的默认设置，会让 RAG 索引漏掉邮件附件

> 按结构解析 Word、PowerPoint 和邮件，每个分块都能保留 parent_id，前提是索引前先改几项设置。

原文: https://fdetimes.net/zh/tools/unstructured-word-powerpoint-email-rag/

客户的知识库很少放在数据库里。它散落在 Word 合同、给董事会准备的 PowerPoint 演示文稿，以及正文只有寥寥数语、真正内容都在附件里的邮件往来中。如果把这些文本合并成一整块，每隔 N 个字符切一刀再交给 RAG，最重要的东西就丢了：结构。

内容在摄取阶段一旦被切碎或漏掉，之后换模型、调提示词都很难补回来。检索器找不到从未进入索引的内容。

Unstructured 是一个采用 Apache-2.0 许可证的开源库。开发者称它免费，目标是把文档转成结构化数据。据该公司介绍，支持的格式包括 Word、PowerPoint 和邮件，以及 Excel、HTML、图片和扫描件。

## 分块之前，先弄清每一块是什么

Unstructured 的第一步是分区（partitioning）：把原始文档预处理成元素。Word `.docx` 文件有专门的函数 `partition_docx`，PowerPoint `.pptx` 文件则用 `partition_pptx`。

返回的不是一整块扁平文本，而是一组元素，每个元素都带有元数据。`parent_id` 字段表明元素在文档层级中的位置，检索到某个分块时，可以据此追溯到它来自哪一节。

这些元数据应当随每个分块一起进入索引。Jim Allen Wallace 在 Redis 博客上写道，文档名、章节标题和页码等字段对检索排序和回答质量都有帮助。对客户来说，这还意味着系统能注明出处是“第 4.2 条，第 7 页”，而不是返回一段来源不明的文本。

## 邮件：真正的内容往往在附件里

默认设置造成损失最大的地方就是邮件。Unstructured 的文档说明，只有设置 `process_attachments=True` 时才会解析附件。LangChain 的 `UnstructuredEmailLoader` 封装了 Unstructured，它的文档同样把这一项列为需要手动开启的选项。

设想一封与客户往来的邮件，正文只有一句“详见附件”，12 页的方案放在 Word 文件里。忘了这个参数，RAG 系统看到的只有问候语。

开启之后，从附件生成的元素会带上一个元数据字段，记录它所附属的文件。这样，基于方案内容生成的回答仍能指回送达这份方案的那封邮件。

**要点:** 文档结构一旦在摄取阶段丢失，任何检索器都找不回来。

## 用 by_title 保住章节边界，再调整 500 这个数

接下来是分块。`by_title` 策略会保留章节边界，需要的话也能保留页面边界。实际效果是，不会有哪个分块同时装着“付款条款”的后半部分和“质保”的前半部分。

要留意的数字是 `max_characters`，即分块大小的硬上限，默认值为 500 个字符。以一个 1,800 字符的“违约金条款”为例：1,800 大于 3 × 500，这一节至少要切成四个分块。

如果违约金的触发条件在第一个分块，金额在最后一个分块，那么“延迟交付的违约金是多少？”这样的问题可能只检索到一半答案。Redis 的文章阐述了按结构分块背后的原则：元素只有在超过最大尺寸时才会被拆分，否则保持完整。

所以真正的问题是上限设在哪里。Redis 建议把分块大小当作需要调优的参数，而不是从旧配置里照搬一个数。依据应当是客户文档中各章节的实际长度，以及评测结果。

## 表格最容易被拆坏

表格过大时，Unstructured 会按文本切开，拆成若干 `TableChunk`。设想客户问到一份几页长的价目表或 SLA 表：表格要是切错了位置，答案也会跟着出错。

Redis 把忽视结构列为生产环境中的常见故障：表格和表头行分离，列表和标题分离，分块失去原本的含义。一个只有数字、没有列名的表格片段，即使被检索到也没多大用处。

解决办法先从尺寸上限入手。元素只有超过 `max_characters` 才会被拆分，因此把上限调到足以容纳重要表格，就能让每张表完整地留在一个分块里。对于仍然过长的表格，逐个查看 `TableChunk`，确认哪些片段还带着列表头行，哪些已经丢失。

## 一段代码，三个步骤

合在一起，一个最小的数据管道有三步：分区，亲自查看元素，再按章节分块，并把上限设得高于默认值。

```python
from unstructured.partition.docx import partition_docx
from unstructured.partition.email import partition_email
from unstructured.chunking.title import chunk_by_title

elements = partition_docx(filename="contract.docx")

# 打印前 10 个元素，查看文档是如何拆分的
for el in elements[:10]:
    print(type(el).__name__, "|", el.metadata.parent_id, "|", el.text[:60])

chunks = chunk_by_title(elements, max_characters=2000)
print(len(chunks), "个分块")

# 邮件：只有开启这一项，才会解析附件
mail = partition_email(filename="quote.eml", process_attachments=True)
```

2000 只是一个起点，是针对上文例子中 1,800 字符的章节选定的。用同一组真实问题分别测试 500 和 2000，保留回答更完整的那个。

## 演示之前，先排查这五个错误

在为整个文档集建立索引之前，先过一遍下表。每一行是一个错误、识别方法和应对办法。

| 常见错误 | 症状 | 应对办法 |
|---|---|---|
| 没有开启附件解析 | RAG 只返回邮件里的问候语 | 设置 `process_attachments=True` |
| 上限保持 500 字符不变 | 回答漏掉条款的后半部分 | 用真实问题对比两个 `max_characters` 取值 |
| 表格被切开 | 表格片段没有列名 | 调高 `max_characters`，逐个复查 `TableChunk` |
| 生成嵌入时丢掉元数据 | 无法注明章节或页码 | 每个分块都存上章节标题、页码和 `parent_id` |
| 不抽查样本就跑全量文档 | 章节无故被合并或拆散 | 先解析几个样本文件，亲自逐个查看元素 |

最后一行不要跳过。花一个下午解析几个客户自己的文件、读一遍元素列表，成本远低于等整个文档集都生成嵌入之后，才发现章节被合并、表格被拆坏。

把这项技能写进简历时，不要只写“用过 Unstructured”。要写清楚你处理了邮件附件、保住了表格完整、按章节长度调整了分块大小，以及因此在客户的真实问题上多答对了多少。

演示时，客户不会问你选了哪个嵌入模型。他们会问，为什么系统找不到上周邮件里的报价，而答案往往是某个你没打开的参数。

**本周动手试试:**

- 挑 3 个真实文件（一个 .docx、一个 .pptx、一封带附件的邮件），运行分区并亲自读一遍元素列表，看看每份文档是如何拆分的
- 对同一份文档分别用默认的 max_characters 和更大的取值分块，再用 5 个真实的客户问题对比 RAG 的回答
- 找一份含大表格的文档，分块后检查哪些表格片段丢失了列表头行

## 信源

- [Partitioning](https://docs.unstructured.io/open-source/core-functionality/partitioning)

- [langchain.document_loaders.email.UnstructuredEmailLoader](https://sj-langchain.readthedocs.io/en/latest/document_loaders/langchain.document_loaders.email.UnstructuredEmailLoader.html)

- [Chunking](https://docs.unstructured.io/open-source/core-functionality/chunking)

- [Document elements and metadata](https://docs.unstructured.io/open-source/concepts/document-elements)

- [GitHub - Unstructured-IO/unstructured](https://github.com/Unstructured-IO/unstructured)

- [Convert Documents into Structured, AI-Ready Data | Unstructured](https://unstructured.io/)

- [Chunking for RAG: Strategies, tradeoffs & common mistakes](https://redis.io/blog/chunking-strategy-rag-pipelines/)
