客户数据全是扫描发票，纯文本 RAG 就成了睁眼瞎

设想你在客户现场的第一周。对方交给你一个文档文件夹，里面大多是扫描发票、流程图和拍下来的图表。你带来的 RAG 数据管道只能提取文本，在这些页面上几乎什么都看不到，聊天机器人的回答在检索阶段就已经出错。

DeepLearning.AI 的 Building Multimodal Search and RAG 针对的正是这种情况。真实的企业数据很少干净，也很少只有文本。能在图片上做 RAG 的前线部署工程师（FDE），要比只会拿几份整洁 PDF 做演示的人走得远得多。

谁来讲，要花多长时间？

这是一门 DeepLearning.AI 短课程（Short Course），与合作方 Weaviate 联合制作。讲师是 Weaviate 开发者关系负责人 Sebastian Witalec。课程页面显示更新于 2026 年 8 月 11 日，但没有写明最初发布的年份。

课程定位为中级（Intermediate），包含 8 节视频课、1 篇阅读材料和 1 次计分测验，官方页面标注时长 1 小时 34 分（另一个课程列表写的是 1 小时 22 分钟）。

课程在 beta 期间限时免费，证书需要 PRO 套餐。2026 年 2 月 25 日课程曾进行维护，部分章节暂时无法访问。安排学习时间之前，先到课程页面确认状态。

第一个值得记住的思路：文本和图片共享同一个空间

课程从熟悉的定义讲起：RAG 把企业的私有数据带进 LLM 的提示上下文。随后，它把这个定义扩展到多模态数据。扩展的基础是对比学习，课程中你会亲手实现它。

要抓住的核心是：嵌入可以与模态无关。课程称之为任意模态互检（any-to-any retrieval）：用文本找图片、用图片找文本，或者用图片找图片。

想想这意味着什么：文本和图片一旦处在同一个向量空间，“供应商 X 的 3 月发票”这样的查询，理论上就能找到一张扫描图片，即便这张图片里没有提取出任何文本。

所以到了客户现场，第一件事是统计文档库里图片或扫描件占多大比例。如果比例很高，无论怎么调分块策略，纯文本 RAG 都会很早撞上质量天花板。

第二个思路：检索到正确的图片只完成了一半

找到正确的图片只解决了一半问题。课程教你构建一个多模态 RAG 系统：检索包含图片的上下文，再让模型基于这些上下文推理，使答案更准确。换句话说，模型得读懂图表，而不是只返回一个图片文件链接。

在客户现场，这个区别在演示时立刻显现。业务人员不想要五张图片，他们要的是答案，再附上图片作为可以自行核对的证据。

第三个思路：从发票图片到结构化数据

课程中讲行业应用的部分，明确涵盖了对发票和流程图做视觉分析、提取结构化数据。对 FDE 来说，这往往是最有价值的部分。从扫描件中提取出的发票号、日期和总金额表格，可以直接导入会计系统；聊天回答做不到这一点。

假设你手上有 200 张扫描发票。与其演示聊天机器人，不如为每张发票返回一个 JSON 文件，再请客户的会计人工核对其中 20 张。这些数字能否对上，比任何幻灯片都更能说服客户。

这一阶段最常见的错误，是客户需要的是流入系统的 JSON，你却带去一个聊天机器人。第二个错误是只在几张干净的发票上展示结果，没有人工核对过的样本。动手之前，先问客户提取出的数据要流向哪里，再一起确定需要采集的字段清单。

该按什么顺序学？

DeepLearning.AI 建议学员具备 Python 基础，并事先了解 RAG。第二条要求值得注意：如果你从没亲手搭过纯文本 RAG 数据管道，先把它做出来，因为课程默认你已经掌握。

学完之后，可以接着学 Weaviate Academy 的 Multimodal Data: In Focus。这是一门独立课程，不属于 DeepLearning.AI。

它教你选择适合 Weaviate 的嵌入模型和生成模型，然后创建 collection、导入数据、让 Weaviate 生成向量、建索引和搜索，最后以一个 RAG 模块收尾。

DeepLearning.AI 的课程帮你理解原理，Weaviate 的课程让你在真实的向量数据库上动手。

写在简历上，一张结课证书说明不了多少。“构建多模态 RAG，可检索扫描发票并提取结构化数据，已用样本人工验证”这样一条，分量要重得多。

面试提到文档理解、非结构化数据或多模态的 FDE 岗位时，直接问：客户数据里有多少是扫描图片？他们需要的是答案还是结构化数据？对方的回答会告诉你，从第一周起要用到哪些技能。

一个半小时的学习不会让你成为计算机视觉专家。但下次客户递给你一整个文件夹的扫描件时，你不必再说“系统暂时读不了这部分”。