# 2023 年的 LLM 课，最耐用的一条是把提示词放进 Git

> 课程里的早期 LangChain 等工具已过时，但检索、测试和上线 LLM 应用的方法仍贴合 FDE 的日常工作。

原文: https://fdetimes.net/zh/books-courses/llm-bootcamp-2023-llmops-review/

这是一门 2023 年 4 月的 LLM 课程，最让人记住的建议却很朴素：把提示词放进 Git。Josh Tobin 在 LLMOps 一讲中认为，大多数团队都应该这么做，因为 Git 好用，而且本来就在团队的工作流里。

课程正式名称是“LLM Bootcamp - Spring 2023”，由 The Full Stack（Full Stack Deep Learning）主办。Charles Frye、Sergey Karayev 和 Josh Tobin 在旧金山线下授课，之后把全部录像免费放到了网上。

他们给出的目标是：让学员跟上最前沿的进展，即使没有机器学习经验，也能自己构建和部署 LLM 应用。

如果你的工作是把演示变成有真实用户的系统，这门课讲的正是从提示词到生产环境的这段路。问题在于，课中提到的许多工具已经过时，所以要知道哪些讲该精读，哪些讲可以略读。

## 哪些已经过时，哪些依然有效？

提示词工程一讲介绍了问题分解与思维链、让模型批判自己的回答、组合多次运行结果（集成），以及常见陷阱。

“Launch an LLM App in One Hour”一讲介绍了一套用于原型和探索的工具：ChatGPT、LangChain、Colab。三者都是 2023 年的选择，应当看作示例，而不是推荐。

更持久的价值在接下来的两部分。Augmented Language Models 一讲讲的是用向量索引做检索、如何管理嵌入，然后是工具调用。

askFSDL 项目实操按生产环境的方式构建了一个完整应用：Python 项目工具链、数据 ETL、在 Modal 上部署、用 Gantry 做监控。

厂商名字会变，步骤不会变。

| 讲次 | 精读 | 略读 |
|---|---|---|
| LLMOps | 评测、提示词管理、TDD 与 CI | 2023 年的工具盘点 |
| Augmented LMs、askFSDL | 检索、ETL、部署、监控 | 具体厂商名 |
| UX | Copilot 和 Bing Chat 案例 | — |
| Agent（客座讲座） | 生产环境挑战清单 | AutoGPT、BabyAGI |

关于 Agent 的客座讲座提到了 AutoGPT 和 BabyAGI，两者如今都已过时。但其中列出的挑战依然成立：控制工具调用、解析输出、处理长上下文。

## 观点一：生产数据永远和测试数据不同

Tobin 解释了 LLM 难测的原因：生产环境中的数据分布总是和训练时不同。设想为一家物流公司搭建基于内部文档的问答系统。项目组写了 30 个示例问题，句子完整、表达清楚，系统几乎全部答对。

真正上线的第一周，仓库员工输入的是“HN 那批 咋晚了”这样的话，缩写和内部编码混在一起。30 题的测试集里没有任何类似的问题，所以在它上面拿高分，说明不了真实质量。到了客户现场，第一件事就是从第一天起记录真实问题，并每周把它们加进评测集。

## 观点二：提示词就是代码

LLMOps 一讲把测试驱动开发和持续集成用到了 LLM 上。设想一个提示词放在 `prompts/answer_v3.txt` 文件中。每改一条指令就是一次提交，CI 会重新运行上面的评测集。如果准确率下降，你能准确知道是哪一行导致的，并回滚到上一个版本。

Tobin 也指出，当时 LLM 的生产工具还不成熟，而他对追踪提示词的建议仍然是 Git。这个选择值得保留的理由是：它不需要团队现有工作流之外的任何东西，项目第一周就能开始。

**要点:** 没有提交记录、没有配套测试集的提示词，还不能进入生产环境。

## 观点三：语言界面是产品的一部分

UX 一讲讨论了如何设计语言界面，案例是 GitHub Copilot 和 Bing Chat。后端工程师常常跳过这部分，但前线部署工程师（FDE）不该跳过，因为模型出错时，坐在用户旁边的人就是你。

下次演示之前，先画出回答出错时用户看到的界面，以及他们如何反馈错误。

## 谁适合学，按什么顺序？

如果你是正在转向 FDE 工作的软件工程师，先看 LLMOps，再看 Augmented LMs 和 askFSDL，然后是 UX。如果已经调用过 LLM API，提示词工程和“一小时”那一讲可以略读。

这个顺序把工作中最难的部分——让系统在真实数据上正确运行——放在了更刺激的部分之前。

简历上不要只写“完成 LLM Bootcamp”。做一个小项目：包含检索、一套来自真实问题的评测集，以及在提示词变更时自动运行评测的 CI，然后把这三点写清楚。

阅读 FDE 岗位描述时，留意“evaluation”和“production”这两个词：这正是这门课讲得最好的内容。

课中的工具还会继续老去。用真实数据衡量系统的习惯不会过时，这才是这门课最值得带走的东西。

**本周动手试试:**

- 先看 LLMOps 一讲，然后写下当前项目中用户真实输入过的五个问题。
- 把一个写在代码或共享文档里的提示词移到 Git 中的独立文件，并配一个每次提交都会运行的小型评测集。
- 略读 Agent 一讲，抄下其中的生产环境挑战清单，对照你正在构建的应用逐项检查。

## 信源

- [LLM Bootcamp - Spring 2023 - The Full Stack](https://fullstackdeeplearning.com/llm-bootcamp/spring-2023/)

- [Free Full Stack LLM Bootcamp (KDnuggets)](https://www.kdnuggets.com/2023/06/free-full-stack-llm-bootcamp.html)

- [LLMOps (The Full Stack)](https://fullstackdeeplearning.com/llm-bootcamp/spring-2023/llmops/)