DSPy 把客户的评测集变成提示词优化器
算法曾胜过“Let's think step by step”,DSPy 把这种搜索用到整条管道,换模型不必再手工重调。
要点速览
- APE 论文发现,在 24 项 NLP 任务中,有 19 项上 LLM 生成的指令持平或超过人工标注员写的指令。
- DSPy 把提示词当作参数:编译器优化整条管道,使你给定的指标最大化。
- 优化器的上限取决于指标和评测集,因此 FDE 最有价值的工作是和客户一起定义什么叫“正确”。
“Let’s think step by step”是人工写出的思维链提示词,它曾被一个借助语言模型的算法超越。自动提示词工程师(APE)方法找到了一个更长的变体:要求模型一步一步推理,“to be sure we have the right answer”(以确保我们得到正确答案)。
据 DAIR.AI 的 Prompt Engineering Guide,这种措辞在 MultiArith 和 GSM8K 两个题集上提升了结果。
值得关注的不是措辞本身,而是它的来历。没有人坐下来构思它,而是算法搜索并选出了它,就像调超参数一样。
前线部署工程师(FDE)几乎每周都会碰到这个问题。在客户现场,你可能花一整周为分类或抽取管道调提示词,客户一换模型,一切又得重来。DSPy 把这种手工调优变成一个优化问题,客户的评测集就是目标函数。
提示词是参数,不是手艺活
用算法寻找提示词的思路,最早由 Zhou 等人在 2022 年 11 月 3 日发布到 arXiv 的论文“Large Language Models Are Human-Level Prompt Engineers”中清楚阐述。APE 的机制很简单:LLM 先提出一批候选指令,系统再从中找出得分最高的一条。
在 24 项 NLP 任务中,APE 生成的指令有 19 项持平或超过人工标注员写的指令。
DSPy 把同样的逻辑用到了管道层面。Khattab、Zaharia、Potts 等人在 2023 年 10 月 5 日发布的论文描述了一个编译器,可以优化任意 DSPy 管道,使给定指标最大化。
DSPy 模块是参数化的,也就是说它们能够学习,比如学习提示词或少样本示例集。
Stanford NLP 的官方 README 把 DSPy 描述为一个“编程”而非“提示”语言模型的框架。它的全称是 Declarative Self-improving Python。据 README 介绍,它包含同时优化提示词和模型权重的算法。
什么时候该用 DSPy?
满足三个条件时,DSPy 最合适:任务有可度量的答案;客户有标注数据,或愿意去标;管道的模型或需求会持续变化。缺了第一条,比如客户只想要“听起来更好”的回答,却没人说得清什么叫更好,优化器就无从下手。
假设一家银行想把投诉邮件自动分成 6 类,分发到对应部门。运营团队标注了 300 封邮件。你拿出 200 封作为优化数据,另外 100 封留作优化器永远看不到的留出集。指标就是一个函数:预测标签与人工标签一致得 1 分,否则 0 分。
下面的代码草图展示了这三部分:声明输入输出的模块、指标函数和一次编译调用。它仅作示意,优化器的类名和参数请对照你所用 DSPy 版本的文档核实。(代码中的标识符含义:classifier 是分类器,complaint_category 是投诉类别,correct_label 是“标签正确”指标,train_emails 是用于优化的 200 封邮件,optimized_program 是优化后的程序。)
import dspy
# 模块:声明任务,不写提示词
classifier = dspy.Predict("email -> complaint_category")
# 指标:与人工标注一致得 1,否则得 0
def correct_label(example, prediction, trace=None):
return prediction.complaint_category == example.complaint_category
# 编译:优化器从 200 封邮件中尝试不同的指令和少样本示例
optimizer = dspy.BootstrapFewShot(metric=correct_label)
optimized_program = optimizer.compile(classifier, trainset=train_emails)
# 只报告 100 封留出邮件上的得分
假设手写提示词在留出集上得分 78/100。你运行编译器,让它尝试各种方案,并用指标给每个方案打分。如果最佳方案在留出集上达到 86/100,差距就是每 100 封邮件 8 封。
按每月 5,000 封邮件计算,银行每月大约少把 400 封邮件发错部门。这个数字任何运营负责人一看就懂。
| 任务 | 由谁负责 |
|---|---|
| 定义什么叫“正确” | FDE 与客户一起 |
| 标注数据并划出留出集 | 客户,FDE 核查 |
| 生成并测试提示词方案 | 优化器 |
| 分析留出集上剩余的错误 | FDE |
价值在最后一行。仍被分错的 14 封邮件,通常暴露出某个类别定义含糊或标注不一致,这正好成为下次与客户开会的议题。
优化器只对指标负责
DSPy 只优化你度量的东西,仅此而已。如果指标只检查输出格式而不看内容,你会得到一个非常擅长返回正确格式的提示词。如果评测集太小或分布偏斜,提示词就会过拟合那几十个样本。
所以要报告的是留出集得分,而不是优化数据上的得分。
成本同样要考虑。每尝试一个方案,就要多一批模型调用,因此先用小数据集和便宜的模型,再扩大规模。
即便如此,与其他方案相比,提示词优化仍是更经济的选择。GEPA 是 Agrawal、Khattab 等人在 2025 年发表的一种反思式提示词演化方法,其作者指出,GRPO 等强化学习方法往往需要数千次 rollout 才能学会一项新任务。
在六项任务上,GEPA 平均比 GRPO 高 6%,部分任务最多高 20%,所用 rollout 却最多少 35 倍。给 FDE 的启示是:先把提示词优化用到尽,再向客户提议微调。
先学什么,才能马上派上用场
不要从 API 入手,先练写指标和构建评测集,因为这些 DSPy 替你做不了。然后读 APE 的摘要,理解“提出—打分”的循环,再读 DSPy 论文,看模块、指标和编译器如何配合。
浏览 FDE 或 AI 工程师的岗位描述时,留意“eval”“prompt optimization”或直接点名 DSPy 的字样。简历上别写“精通提示词工程”,而是写一句带数字的话:评测集有多少样本,用了自动优化,留出集准确率提升了多少。
手写提示词在客户换模型的那一刻就过时了。定义清楚的评测集却一直有用,下次只需重新运行编译器。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- Automatic Prompt Engineer (APE) | Prompt Engineering Guide
- Large Language Models Are Human-Level Prompt Engineers · 2022-11-03
- DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines · 2023-10-05
- GitHub - stanfordnlp/dspy: DSPy: The framework for programming—not prompting—language models
- GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning · 2025-07-25