# DeepLearning.AI 这门课，先让你的 LLM 产生幻觉

> 不到两小时搭出文本转 SQL 智能体，讲清每个前线部署工程师都该熟记的修复顺序。

原文: https://fdetimes.net/zh/books-courses/deeplearning-ai-improving-llm-accuracy-course/

这门课时长 1 小时 51 分钟，要你做一件准备演示时几乎没人会做的事：故意让自己的智能体产生幻觉。你先搭一个把问题转成 SQL 的智能体，再刻意制造让它答错的场景，评测由此开始。

这就是 Improving Accuracy of LLM Applications 的开场。这是 DeepLearning.AI 推出的一门中级短课程，包含 7 个视频和 4 个代码示例。课程于 2024 年 8 月 14 日在 DeepLearning.AI 社区论坛发布，由 Lamini 和 Meta 两家合作方参与制作。

对前线部署工程师（FDE）来说，这门课值得花一个晚上。问题设定得很干净：搭一个 SQL 智能体，再接上评测指标，看它到底表现如何。如果客户抱怨过自家智能体“有时候对”，你需要的正是这项技能。

## 两位讲师，一个非常真实的问题

Sharon Zhou 是 Lamini 联合创始人兼 CEO。Amit Sangani 是 Meta 合作伙伴工程高级总监。Coursera 也以指导项目的形式提供这门课。

贯穿全课的项目用 Llama 3-8b 在自定义 schema 上搭建文本转 SQL 应用。这正是 FDE 在客户现场经常遇到的问题。

客户数据库往往有自己的表名和列名，模型从没见过。在自定义 schema 上练习，和这种场景非常接近。

## 先弄坏，再仔细衡量

课程先模拟幻觉，产出第一批失败案例，作为评测的起点。之后才进入主线：搭建并串起完整应用，用自我反思做提示词工程，然后做严格评测。

乍看之下，评测似乎排在提示词修复之后，其实评测有两层。开头的幻觉是一次快速测试，看智能体在哪里出错。后面的评测框架，课程页面要求你亲手搭建，用来系统地衡量性能。

**要点:** 在能衡量准确率之前，每一次修复都是猜测。

用一个假设的例子说明第二层为什么不能省。假设你从销售团队收集了 20 个真实问题及对应的正确 SQL，智能体答对 14 个，即 70%。

改了提示词后，它答对 17 个，即 85%，却在两个原本答对的问题上出错了。没有这 20 个问题，你只能看到几次尝试“好像好了一点”，然后把新 bug 带进客户会议。

所以到了客户那里，第一件事是要来真实问题，以及由用户本人确认过的正确答案。这个小数据集会成为后续每次改动的标尺。

## 微调排在最后，有充分理由

课程里，微调是提示词和自我反思之后的下一步。从部署的角度看，这个顺序很合理：改提示词只要几分钟，微调则需要数据、基础设施，还要花时间等结果。

轮到微调时，课程用 LLM 本身生成数据集，再介绍指令微调和参数高效微调（PEFT）技术，例如 LoRA 和记忆专家混合（MoME）。课程还讲了 Lamini 的记忆微调，即把事实嵌入模型、减少幻觉的一种方法。

课程制作方称记忆微调是提升事实准确性的新方向。这句称赞出自打造这项技术的公司，所以要在自己的问题上用评测来验证。由 LLM 生成、未经检查的合成数据，也可能恰好把你想修掉的错误教给模型。

## 谁该学，按什么顺序学

这门课定位中级、以代码教学，适合经常写 Python、至少做过一个 LLM 应用原型的人。如果刚接触 LLM，先把基础提示词用熟。

时间紧的话，先看搭建评测框架的部分，马上用到手头项目上，再回头看提示词和微调。有了可以对比的基线，微调部分才最有用。

职业方面，阅读 FDE 招聘信息时，如果提到评测或准确率衡量，说明这个岗位需要的正是这一整套技能。面试时，讲清你遵循的顺序，从失败案例到提示词、到评测、最后才是微调，以及为什么这样排，比罗列技术名词更有说服力。

简历也是一样：写明评测集有多少个问题、准确率提升了多少，比“有 LLM 相关经验”更有分量。请使用自己项目的真实分数，上文的 70% 和 85% 只是示意。

这门课最大的价值不在 LoRA 或 MoME，而在于顺序：先做便宜的修复，再做昂贵的，只有数据表明提示词已到天花板时才微调。懂得这个顺序的 FDE，很少会向客户承诺自己没衡量过的东西。

**本周动手试试:**

- 写下 20 个真实客户问题及正确答案，给当前智能体打分并记录基线
- 先看课程中评测框架的部分，马上用到手头项目上
- 在简历中加一行，写明某次改进前后的真实评测分数

## 信源

- [Improving Accuracy of LLM Applications - DeepLearning.AI](https://www.deeplearning.ai/short-courses/improving-accuracy-of-llm-applications/)

- [New Course! Enroll in Improving Accuracy of LLM Applications](https://community.deeplearning.ai/t/new-course-enroll-in-improving-accuracy-of-llm-applications/677842)

- [ksm26/Improving-Accuracy-of-LLM-Applications (GitHub, student repo of the course)](https://github.com/ksm26/Improving-Accuracy-of-LLM-Applications)

- [Improving Accuracy of LLM Applications - Lesson 1: Introduction (DeepLearning.AI Learn)](https://learn.deeplearning.ai/courses/improving-accuracy-of-llm-applications/lesson/1/introduction)

- [Improving Accuracy of LLM Applications - Coursera](https://www.coursera.org/projects/improving-accuracy-of-llm-applications)
