2023 年的 LLM 课，最耐用的一条是把提示词放进 Git

这是一门 2023 年 4 月的 LLM 课程，最让人记住的建议却很朴素：把提示词放进 Git。Josh Tobin 在 LLMOps 一讲中认为，大多数团队都应该这么做，因为 Git 好用，而且本来就在团队的工作流里。

课程正式名称是“LLM Bootcamp - Spring 2023”，由 The Full Stack（Full Stack Deep Learning）主办。Charles Frye、Sergey Karayev 和 Josh Tobin 在旧金山线下授课，之后把全部录像免费放到了网上。

他们给出的目标是：让学员跟上最前沿的进展，即使没有机器学习经验，也能自己构建和部署 LLM 应用。

如果你的工作是把演示变成有真实用户的系统，这门课讲的正是从提示词到生产环境的这段路。问题在于，课中提到的许多工具已经过时，所以要知道哪些讲该精读，哪些讲可以略读。

哪些已经过时，哪些依然有效？

提示词工程一讲介绍了问题分解与思维链、让模型批判自己的回答、组合多次运行结果（集成），以及常见陷阱。

“Launch an LLM App in One Hour”一讲介绍了一套用于原型和探索的工具：ChatGPT、LangChain、Colab。三者都是 2023 年的选择，应当看作示例，而不是推荐。

更持久的价值在接下来的两部分。Augmented Language Models 一讲讲的是用向量索引做检索、如何管理嵌入，然后是工具调用。

askFSDL 项目实操按生产环境的方式构建了一个完整应用：Python 项目工具链、数据 ETL、在 Modal 上部署、用 Gantry 做监控。

厂商名字会变，步骤不会变。

讲次	精读	略读
LLMOps	评测、提示词管理、TDD 与 CI	2023 年的工具盘点
Augmented LMs、askFSDL	检索、ETL、部署、监控	具体厂商名
UX	Copilot 和 Bing Chat 案例	—
Agent（客座讲座）	生产环境挑战清单	AutoGPT、BabyAGI

关于 Agent 的客座讲座提到了 AutoGPT 和 BabyAGI，两者如今都已过时。但其中列出的挑战依然成立：控制工具调用、解析输出、处理长上下文。

观点一：生产数据永远和测试数据不同

Tobin 解释了 LLM 难测的原因：生产环境中的数据分布总是和训练时不同。设想为一家物流公司搭建基于内部文档的问答系统。项目组写了 30 个示例问题，句子完整、表达清楚，系统几乎全部答对。

真正上线的第一周，仓库员工输入的是“HN 那批 咋晚了”这样的话，缩写和内部编码混在一起。30 题的测试集里没有任何类似的问题，所以在它上面拿高分，说明不了真实质量。到了客户现场，第一件事就是从第一天起记录真实问题，并每周把它们加进评测集。

观点二：提示词就是代码

LLMOps 一讲把测试驱动开发和持续集成用到了 LLM 上。设想一个提示词放在 prompts/answer_v3.txt 文件中。每改一条指令就是一次提交，CI 会重新运行上面的评测集。如果准确率下降，你能准确知道是哪一行导致的，并回滚到上一个版本。

Tobin 也指出，当时 LLM 的生产工具还不成熟，而他对追踪提示词的建议仍然是 Git。这个选择值得保留的理由是：它不需要团队现有工作流之外的任何东西，项目第一周就能开始。

观点三：语言界面是产品的一部分

UX 一讲讨论了如何设计语言界面，案例是 GitHub Copilot 和 Bing Chat。后端工程师常常跳过这部分，但前线部署工程师（FDE）不该跳过，因为模型出错时，坐在用户旁边的人就是你。

下次演示之前，先画出回答出错时用户看到的界面，以及他们如何反馈错误。

谁适合学，按什么顺序？

如果你是正在转向 FDE 工作的软件工程师，先看 LLMOps，再看 Augmented LMs 和 askFSDL，然后是 UX。如果已经调用过 LLM API，提示词工程和“一小时”那一讲可以略读。

这个顺序把工作中最难的部分——让系统在真实数据上正确运行——放在了更刺激的部分之前。

简历上不要只写“完成 LLM Bootcamp”。做一个小项目：包含检索、一套来自真实问题的评测集，以及在提示词变更时自动运行评测的 CI，然后把这三点写清楚。

阅读 FDE 岗位描述时，留意“evaluation”和“production”这两个词：这正是这门课讲得最好的内容。

课中的工具还会继续老去。用真实数据衡量系统的习惯不会过时，这才是这门课最值得带走的东西。