DeepLearning.AI 这门课,先让你的 LLM 产生幻觉
不到两小时搭出文本转 SQL 智能体,讲清每个前线部署工程师都该熟记的修复顺序。
要点速览
- 一门中级短课程,时长 1 小时 51 分钟,由 Sharon Zhou(Lamini)和 Amit Sangani(Meta)主讲。
- 课程一开始就故意让运行在 Llama 3-8b 上的文本转 SQL 智能体产生幻觉,由此开启评测流程。
- 用 LoRA 和 MoME 微调排在最后,先做提示词和自我反思。
这门课时长 1 小时 51 分钟,要你做一件准备演示时几乎没人会做的事:故意让自己的智能体产生幻觉。你先搭一个把问题转成 SQL 的智能体,再刻意制造让它答错的场景,评测由此开始。
这就是 Improving Accuracy of LLM Applications 的开场。这是 DeepLearning.AI 推出的一门中级短课程,包含 7 个视频和 4 个代码示例。课程于 2024 年 8 月 14 日在 DeepLearning.AI 社区论坛发布,由 Lamini 和 Meta 两家合作方参与制作。
对前线部署工程师(FDE)来说,这门课值得花一个晚上。问题设定得很干净:搭一个 SQL 智能体,再接上评测指标,看它到底表现如何。如果客户抱怨过自家智能体“有时候对”,你需要的正是这项技能。
两位讲师,一个非常真实的问题
Sharon Zhou 是 Lamini 联合创始人兼 CEO。Amit Sangani 是 Meta 合作伙伴工程高级总监。Coursera 也以指导项目的形式提供这门课。
贯穿全课的项目用 Llama 3-8b 在自定义 schema 上搭建文本转 SQL 应用。这正是 FDE 在客户现场经常遇到的问题。
客户数据库往往有自己的表名和列名,模型从没见过。在自定义 schema 上练习,和这种场景非常接近。
先弄坏,再仔细衡量
课程先模拟幻觉,产出第一批失败案例,作为评测的起点。之后才进入主线:搭建并串起完整应用,用自我反思做提示词工程,然后做严格评测。
乍看之下,评测似乎排在提示词修复之后,其实评测有两层。开头的幻觉是一次快速测试,看智能体在哪里出错。后面的评测框架,课程页面要求你亲手搭建,用来系统地衡量性能。
用一个假设的例子说明第二层为什么不能省。假设你从销售团队收集了 20 个真实问题及对应的正确 SQL,智能体答对 14 个,即 70%。
改了提示词后,它答对 17 个,即 85%,却在两个原本答对的问题上出错了。没有这 20 个问题,你只能看到几次尝试“好像好了一点”,然后把新 bug 带进客户会议。
所以到了客户那里,第一件事是要来真实问题,以及由用户本人确认过的正确答案。这个小数据集会成为后续每次改动的标尺。
微调排在最后,有充分理由
课程里,微调是提示词和自我反思之后的下一步。从部署的角度看,这个顺序很合理:改提示词只要几分钟,微调则需要数据、基础设施,还要花时间等结果。
轮到微调时,课程用 LLM 本身生成数据集,再介绍指令微调和参数高效微调(PEFT)技术,例如 LoRA 和记忆专家混合(MoME)。课程还讲了 Lamini 的记忆微调,即把事实嵌入模型、减少幻觉的一种方法。
课程制作方称记忆微调是提升事实准确性的新方向。这句称赞出自打造这项技术的公司,所以要在自己的问题上用评测来验证。由 LLM 生成、未经检查的合成数据,也可能恰好把你想修掉的错误教给模型。
谁该学,按什么顺序学
这门课定位中级、以代码教学,适合经常写 Python、至少做过一个 LLM 应用原型的人。如果刚接触 LLM,先把基础提示词用熟。
时间紧的话,先看搭建评测框架的部分,马上用到手头项目上,再回头看提示词和微调。有了可以对比的基线,微调部分才最有用。
职业方面,阅读 FDE 招聘信息时,如果提到评测或准确率衡量,说明这个岗位需要的正是这一整套技能。面试时,讲清你遵循的顺序,从失败案例到提示词、到评测、最后才是微调,以及为什么这样排,比罗列技术名词更有说服力。
简历也是一样:写明评测集有多少个问题、准确率提升了多少,比“有 LLM 相关经验”更有分量。请使用自己项目的真实分数,上文的 70% 和 85% 只是示意。
这门课最大的价值不在 LoRA 或 MoME,而在于顺序:先做便宜的修复,再做昂贵的,只有数据表明提示词已到天花板时才微调。懂得这个顺序的 FDE,很少会向客户承诺自己没衡量过的东西。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- Improving Accuracy of LLM Applications - DeepLearning.AI
- New Course! Enroll in Improving Accuracy of LLM Applications · 2024-08-14
- ksm26/Improving-Accuracy-of-LLM-Applications (GitHub, student repo of the course)
- Improving Accuracy of LLM Applications - Lesson 1: Introduction (DeepLearning.AI Learn)
- Improving Accuracy of LLM Applications - Coursera