# 客户数据全是扫描发票，纯文本 RAG 就成了睁眼瞎 > DeepLearning.AI 联合 Weaviate 推出的短课程，教 RAG 系统读懂图片、图表和流程图，并转成结构化数据。 原文: https://fdetimes.net/zh/books-courses/multimodal-rag-course-scanned-invoices/ 设想你在客户现场的第一周。对方交给你一个文档文件夹，里面大多是扫描发票、流程图和拍下来的图表。你带来的 RAG 数据管道只能提取文本，在这些页面上几乎什么都看不到，聊天机器人的回答在检索阶段就已经出错。 DeepLearning.AI 的 **Building Multimodal Search and RAG** 针对的正是这种情况。真实的企业数据很少干净，也很少只有文本。能在图片上做 RAG 的前线部署工程师（FDE），要比只会拿几份整洁 PDF 做演示的人走得远得多。 ## 谁来讲，要花多长时间？ 这是一门 DeepLearning.AI 短课程（Short Course），与合作方 Weaviate 联合制作。讲师是 Weaviate 开发者关系负责人 Sebastian Witalec。课程页面显示更新于 2026 年 8 月 11 日，但没有写明最初发布的年份。 课程定位为中级（Intermediate），包含 8 节视频课、1 篇阅读材料和 1 次计分测验，官方页面标注时长 1 小时 34 分（另一个课程列表写的是 1 小时 22 分钟）。 课程在 beta 期间限时免费，证书需要 PRO 套餐。2026 年 2 月 25 日课程曾进行维护，部分章节暂时无法访问。安排学习时间之前，先到课程页面确认状态。 ## 第一个值得记住的思路：文本和图片共享同一个空间 课程从熟悉的定义讲起：RAG 把企业的私有数据带进 LLM 的提示上下文。随后，它把这个定义扩展到多模态数据。扩展的基础是对比学习，课程中你会亲手实现它。 要抓住的核心是：嵌入可以与模态无关。课程称之为任意模态互检（any-to-any retrieval）：用文本找图片、用图片找文本，或者用图片找图片。 想想这意味着什么：文本和图片一旦处在同一个向量空间，“供应商 X 的 3 月发票”这样的查询，理论上就能找到一张扫描图片，即便这张图片里没有提取出任何文本。 所以到了客户现场，第一件事是统计文档库里图片或扫描件占多大比例。如果比例很高，无论怎么调分块策略，纯文本 RAG 都会很早撞上质量天花板。 ## 第二个思路：检索到正确的图片只完成了一半 找到正确的图片只解决了一半问题。课程教你构建一个多模态 RAG 系统：检索包含图片的上下文，再让模型基于这些上下文推理，使答案更准确。换句话说，模型得读懂图表，而不是只返回一个图片文件链接。 在客户现场，这个区别在演示时立刻显现。业务人员不想要五张图片，他们要的是答案，再附上图片作为可以自行核对的证据。 ## 第三个思路：从发票图片到结构化数据 课程中讲行业应用的部分，明确涵盖了对发票和流程图做视觉分析、提取结构化数据。对 FDE 来说，这往往是最有价值的部分。从扫描件中提取出的发票号、日期和总金额表格，可以直接导入会计系统；聊天回答做不到这一点。 **要点:** 客户需要的是从图片中提取的结构化数据，而不只是一个能看图的聊天机器人。 假设你手上有 200 张扫描发票。与其演示聊天机器人，不如为每张发票返回一个 JSON 文件，再请客户的会计人工核对其中 20 张。这些数字能否对上，比任何幻灯片都更能说服客户。 这一阶段最常见的错误，是客户需要的是流入系统的 JSON，你却带去一个聊天机器人。第二个错误是只在几张干净的发票上展示结果，没有人工核对过的样本。动手之前，先问客户提取出的数据要流向哪里，再一起确定需要采集的字段清单。 ## 该按什么顺序学？ DeepLearning.AI 建议学员具备 Python 基础，并事先了解 RAG。第二条要求值得注意：如果你从没亲手搭过纯文本 RAG 数据管道，先把它做出来，因为课程默认你已经掌握。 学完之后，可以接着学 Weaviate Academy 的 **Multimodal Data: In Focus**。这是一门独立课程，不属于 DeepLearning.AI。 它教你选择适合 Weaviate 的嵌入模型和生成模型，然后创建 collection、导入数据、让 Weaviate 生成向量、建索引和搜索，最后以一个 RAG 模块收尾。 DeepLearning.AI 的课程帮你理解原理，Weaviate 的课程让你在真实的向量数据库上动手。 写在简历上，一张结课证书说明不了多少。“构建多模态 RAG，可检索扫描发票并提取结构化数据，已用样本人工验证”这样一条，分量要重得多。 面试提到文档理解、非结构化数据或多模态的 FDE 岗位时，直接问：客户数据里有多少是扫描图片？他们需要的是答案还是结构化数据？对方的回答会告诉你，从第一周起要用到哪些技能。 一个半小时的学习不会让你成为计算机视觉专家。但下次客户递给你一整个文件夹的扫描件时，你不必再说“系统暂时读不了这部分”。 **本周动手试试:** - 在 DeepLearning.AI 页面确认课程状态和免费访问情况，先学关于多模态的概览课 - 从旧项目或公开数据中取 20 份图片类文档（发票、示意图），测试你的纯文本 RAG 漏答了多少 - 做一个小演示：用文本提问，返回正确的发票图片以及从中提取的 JSON 记录 ## 信源 - [Building Multimodal Search and RAG - DeepLearning.AI](https://www.deeplearning.ai/short-courses/building-multimodal-search-and-rag/) - [Building Multimodal Search and RAG - DeepLearning.AI (Short Course)](https://deeplearning.ai/short-courses/building-multimodal-search-and-rag) - [Technical Update: Building Multimodal Search and RAG by Weaviate](https://community.deeplearning.ai/t/technical-update-building-multimodal-search-and-rag-by-weaviate/889475) - [Multimodal Data: In Focus | Weaviate Academy](https://academy.weaviate.io/courses/wa910-py)