FDE Times 数据在招 FDE 职位 873▼9 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 181支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

Unstructured 的默认设置,会让 RAG 索引漏掉邮件附件

按结构解析 Word、PowerPoint 和邮件,每个分块都能保留 parent_id,前提是索引前先改几项设置。

分享微博

要点速览

  • Unstructured 为 .docx 和 .pptx 分别提供解析函数,返回的元素带有表明其在文档中位置的元数据。
  • 解析邮件时,只有设置 process_attachments=True 才会处理附件。
  • by_title 能保证每个分块不跨章节,但默认的 500 字符上限要根据客户文档调整。
两条横条位于 0 到 2,000 的字符刻度上方。max_characters 为默认值 500 时,1,800 字符的“违约金条款”一节被拆成四个分块,违约条件在第 1 块,违约金额在第 4 块。max_characters 设为 2000 时,整节内容放进一个分块。
使用 by_title 时,默认的 500 字符上限会把 1,800 字符的章节拆成至少四个分块,问违约金额时可能只检索到一半答案。来源:Unstructured 分块文档,据文中引用。

客户的知识库很少放在数据库里。它散落在 Word 合同、给董事会准备的 PowerPoint 演示文稿,以及正文只有寥寥数语、真正内容都在附件里的邮件往来中。如果把这些文本合并成一整块,每隔 N 个字符切一刀再交给 RAG,最重要的东西就丢了:结构。

内容在摄取阶段一旦被切碎或漏掉,之后换模型、调提示词都很难补回来。检索器找不到从未进入索引的内容。

Unstructured 是一个采用 Apache-2.0 许可证的开源库。开发者称它免费,目标是把文档转成结构化数据。据该公司介绍,支持的格式包括 Word、PowerPoint 和邮件,以及 Excel、HTML、图片和扫描件。

分块之前,先弄清每一块是什么

Unstructured 的第一步是分区(partitioning):把原始文档预处理成元素。Word .docx 文件有专门的函数 partition_docx,PowerPoint .pptx 文件则用 partition_pptx。

返回的不是一整块扁平文本,而是一组元素,每个元素都带有元数据。parent_id 字段表明元素在文档层级中的位置,检索到某个分块时,可以据此追溯到它来自哪一节。

这些元数据应当随每个分块一起进入索引。Jim Allen Wallace 在 Redis 博客上写道,文档名、章节标题和页码等字段对检索排序和回答质量都有帮助。对客户来说,这还意味着系统能注明出处是“第 4.2 条,第 7 页”,而不是返回一段来源不明的文本。

邮件:真正的内容往往在附件里

默认设置造成损失最大的地方就是邮件。Unstructured 的文档说明,只有设置 process_attachments=True 时才会解析附件。LangChain 的 UnstructuredEmailLoader 封装了 Unstructured,它的文档同样把这一项列为需要手动开启的选项。

设想一封与客户往来的邮件,正文只有一句“详见附件”,12 页的方案放在 Word 文件里。忘了这个参数,RAG 系统看到的只有问候语。

开启之后,从附件生成的元素会带上一个元数据字段,记录它所附属的文件。这样,基于方案内容生成的回答仍能指回送达这份方案的那封邮件。

用 by_title 保住章节边界,再调整 500 这个数

接下来是分块。by_title 策略会保留章节边界,需要的话也能保留页面边界。实际效果是,不会有哪个分块同时装着“付款条款”的后半部分和“质保”的前半部分。

要留意的数字是 max_characters,即分块大小的硬上限,默认值为 500 个字符。以一个 1,800 字符的“违约金条款”为例:1,800 大于 3 × 500,这一节至少要切成四个分块。

如果违约金的触发条件在第一个分块,金额在最后一个分块,那么“延迟交付的违约金是多少?”这样的问题可能只检索到一半答案。Redis 的文章阐述了按结构分块背后的原则:元素只有在超过最大尺寸时才会被拆分,否则保持完整。

所以真正的问题是上限设在哪里。Redis 建议把分块大小当作需要调优的参数,而不是从旧配置里照搬一个数。依据应当是客户文档中各章节的实际长度,以及评测结果。

表格最容易被拆坏

表格过大时,Unstructured 会按文本切开,拆成若干 TableChunk。设想客户问到一份几页长的价目表或 SLA 表:表格要是切错了位置,答案也会跟着出错。

Redis 把忽视结构列为生产环境中的常见故障:表格和表头行分离,列表和标题分离,分块失去原本的含义。一个只有数字、没有列名的表格片段,即使被检索到也没多大用处。

解决办法先从尺寸上限入手。元素只有超过 max_characters 才会被拆分,因此把上限调到足以容纳重要表格,就能让每张表完整地留在一个分块里。对于仍然过长的表格,逐个查看 TableChunk,确认哪些片段还带着列表头行,哪些已经丢失。

一段代码,三个步骤

合在一起,一个最小的数据管道有三步:分区,亲自查看元素,再按章节分块,并把上限设得高于默认值。

from unstructured.partition.docx import partition_docx
from unstructured.partition.email import partition_email
from unstructured.chunking.title import chunk_by_title

elements = partition_docx(filename="contract.docx")

# 打印前 10 个元素,查看文档是如何拆分的
for el in elements[:10]:
    print(type(el).__name__, "|", el.metadata.parent_id, "|", el.text[:60])

chunks = chunk_by_title(elements, max_characters=2000)
print(len(chunks), "个分块")

# 邮件:只有开启这一项,才会解析附件
mail = partition_email(filename="quote.eml", process_attachments=True)

2000 只是一个起点,是针对上文例子中 1,800 字符的章节选定的。用同一组真实问题分别测试 500 和 2000,保留回答更完整的那个。

演示之前,先排查这五个错误

在为整个文档集建立索引之前,先过一遍下表。每一行是一个错误、识别方法和应对办法。

常见错误 症状 应对办法
没有开启附件解析 RAG 只返回邮件里的问候语 设置 process_attachments=True
上限保持 500 字符不变 回答漏掉条款的后半部分 用真实问题对比两个 max_characters 取值
表格被切开 表格片段没有列名 调高 max_characters,逐个复查 TableChunk
生成嵌入时丢掉元数据 无法注明章节或页码 每个分块都存上章节标题、页码和 parent_id
不抽查样本就跑全量文档 章节无故被合并或拆散 先解析几个样本文件,亲自逐个查看元素

最后一行不要跳过。花一个下午解析几个客户自己的文件、读一遍元素列表,成本远低于等整个文档集都生成嵌入之后,才发现章节被合并、表格被拆坏。

把这项技能写进简历时,不要只写“用过 Unstructured”。要写清楚你处理了邮件附件、保住了表格完整、按章节长度调整了分块大小,以及因此在客户的真实问题上多答对了多少。

演示时,客户不会问你选了哪个嵌入模型。他们会问,为什么系统找不到上周邮件里的报价,而答案往往是某个你没打开的参数。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 3: AI 应用选 Mastra,要看谁来维护代码,而不是看演示TypeScript 客户团队能在一个仓库里用上工作流、记忆、MCP 和评测;纯 Python 团队则基本无此优势。