# DSPy 把客户的评测集变成提示词优化器

> 算法曾胜过“Let's think step by step”，DSPy 把这种搜索用到整条管道，换模型不必再手工重调。

原文: https://fdetimes.net/zh/tools/dspy-automatic-prompt-optimization-evals/

“Let's think step by step”是人工写出的思维链提示词，它曾被一个借助语言模型的算法超越。自动提示词工程师（APE）方法找到了一个更长的变体：要求模型一步一步推理，“to be sure we have the right answer”（以确保我们得到正确答案）。

据 DAIR.AI 的 Prompt Engineering Guide，这种措辞在 MultiArith 和 GSM8K 两个题集上提升了结果。

值得关注的不是措辞本身，而是它的来历。没有人坐下来构思它，而是算法搜索并选出了它，就像调超参数一样。

前线部署工程师（FDE）几乎每周都会碰到这个问题。在客户现场，你可能花一整周为分类或抽取管道调提示词，客户一换模型，一切又得重来。DSPy 把这种手工调优变成一个优化问题，客户的评测集就是目标函数。

## 提示词是参数，不是手艺活

用算法寻找提示词的思路，最早由 Zhou 等人在 2022 年 11 月 3 日发布到 arXiv 的论文“Large Language Models Are Human-Level Prompt Engineers”中清楚阐述。APE 的机制很简单：LLM 先提出一批候选指令，系统再从中找出得分最高的一条。

在 24 项 NLP 任务中，APE 生成的指令有 19 项持平或超过人工标注员写的指令。

DSPy 把同样的逻辑用到了管道层面。Khattab、Zaharia、Potts 等人在 2023 年 10 月 5 日发布的论文描述了一个编译器，可以优化任意 DSPy 管道，使给定指标最大化。

DSPy 模块是参数化的，也就是说它们能够学习，比如学习提示词或少样本示例集。

Stanford NLP 的官方 README 把 DSPy 描述为一个“编程”而非“提示”语言模型的框架。它的全称是 Declarative Self-improving Python。据 README 介绍，它包含同时优化提示词和模型权重的算法。

**要点:** 用 DSPy，交给客户的不是一段提示词，而是一个指标、一个评测集，以及一套情况一变就能重新找到提示词的流程。

## 什么时候该用 DSPy？

满足三个条件时，DSPy 最合适：任务有可度量的答案；客户有标注数据，或愿意去标；管道的模型或需求会持续变化。缺了第一条，比如客户只想要“听起来更好”的回答，却没人说得清什么叫更好，优化器就无从下手。

假设一家银行想把投诉邮件自动分成 6 类，分发到对应部门。运营团队标注了 300 封邮件。你拿出 200 封作为优化数据，另外 100 封留作优化器永远看不到的留出集。指标就是一个函数：预测标签与人工标签一致得 1 分，否则 0 分。

下面的代码草图展示了这三部分：声明输入输出的模块、指标函数和一次编译调用。它仅作示意，优化器的类名和参数请对照你所用 DSPy 版本的文档核实。（代码中的标识符含义：`classifier` 是分类器，`complaint_category` 是投诉类别，`correct_label` 是“标签正确”指标，`train_emails` 是用于优化的 200 封邮件，`optimized_program` 是优化后的程序。）

```python
import dspy

# 模块：声明任务，不写提示词
classifier = dspy.Predict("email -> complaint_category")

# 指标：与人工标注一致得 1，否则得 0
def correct_label(example, prediction, trace=None):
    return prediction.complaint_category == example.complaint_category

# 编译：优化器从 200 封邮件中尝试不同的指令和少样本示例
optimizer = dspy.BootstrapFewShot(metric=correct_label)
optimized_program = optimizer.compile(classifier, trainset=train_emails)

# 只报告 100 封留出邮件上的得分
```

假设手写提示词在留出集上得分 78/100。你运行编译器，让它尝试各种方案，并用指标给每个方案打分。如果最佳方案在留出集上达到 86/100，差距就是每 100 封邮件 8 封。

按每月 5,000 封邮件计算，银行每月大约少把 400 封邮件发错部门。这个数字任何运营负责人一看就懂。

| 任务 | 由谁负责 |
|---|---|
| 定义什么叫“正确” | FDE 与客户一起 |
| 标注数据并划出留出集 | 客户，FDE 核查 |
| 生成并测试提示词方案 | 优化器 |
| 分析留出集上剩余的错误 | FDE |

价值在最后一行。仍被分错的 14 封邮件，通常暴露出某个类别定义含糊或标注不一致，这正好成为下次与客户开会的议题。

## 优化器只对指标负责

DSPy 只优化你度量的东西，仅此而已。如果指标只检查输出格式而不看内容，你会得到一个非常擅长返回正确格式的提示词。如果评测集太小或分布偏斜，提示词就会过拟合那几十个样本。

所以要报告的是留出集得分，而不是优化数据上的得分。

成本同样要考虑。每尝试一个方案，就要多一批模型调用，因此先用小数据集和便宜的模型，再扩大规模。

即便如此，与其他方案相比，提示词优化仍是更经济的选择。GEPA 是 Agrawal、Khattab 等人在 2025 年发表的一种反思式提示词演化方法，其作者指出，GRPO 等强化学习方法往往需要数千次 rollout 才能学会一项新任务。

在六项任务上，GEPA 平均比 GRPO 高 6%，部分任务最多高 20%，所用 rollout 却最多少 35 倍。给 FDE 的启示是：先把提示词优化用到尽，再向客户提议微调。

## 先学什么，才能马上派上用场

不要从 API 入手，先练写指标和构建评测集，因为这些 DSPy 替你做不了。然后读 APE 的摘要，理解“提出—打分”的循环，再读 DSPy 论文，看模块、指标和编译器如何配合。

浏览 FDE 或 AI 工程师的岗位描述时，留意“eval”“prompt optimization”或直接点名 DSPy 的字样。简历上别写“精通提示词工程”，而是写一句带数字的话：评测集有多少样本，用了自动优化，留出集准确率提升了多少。

手写提示词在客户换模型的那一刻就过时了。定义清楚的评测集却一直有用，下次只需重新运行编译器。

**本周动手试试:**

- 挑一个正在生产环境中运行的提示词，收集 50-100 个标注样本，写一个指标函数，对每个样本返回正确或错误。
- 把数据分成优化集和留出集，记录手写提示词在留出集上的得分作为基线。
- 阅读 DSPy 论文（arXiv 2310.03714）和 APE 论文（arXiv 2211.01910）的摘要，各用三句话概括其机制。

## 信源

- [Automatic Prompt Engineer (APE) | Prompt Engineering Guide](https://www.promptingguide.ai/techniques/ape)

- [Large Language Models Are Human-Level Prompt Engineers](https://arxiv.org/abs/2211.01910)

- [DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines](https://arxiv.org/abs/2310.03714)

- [GitHub - stanfordnlp/dspy: DSPy: The framework for programming—not prompting—language models](https://github.com/stanfordnlp/dspy)

- [GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning](https://arxiv.org/abs/2507.19457)
