FDE Times 数据在招 FDE 职位 881▼8 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 185支持远程 25%美国薪资中位数 $201k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

DSPy 把客户的评测集变成提示词优化器

算法曾胜过“Let's think step by step”,DSPy 把这种搜索用到整条管道,换模型不必再手工重调。

分享微博

要点速览

  • APE 论文发现,在 24 项 NLP 任务中,有 19 项上 LLM 生成的指令持平或超过人工标注员写的指令。
  • DSPy 把提示词当作参数:编译器优化整条管道,使你给定的指标最大化。
  • 优化器的上限取决于指标和评测集,因此 FDE 最有价值的工作是和客户一起定义什么叫“正确”。
示意图展示文中假设案例的 DSPy 循环:300 封标注邮件分为 200 封调优邮件和 100 封优化器从不接触的留出邮件。200 封邮件输入优化器;模块(邮件到类别)被编译,优化器尝试指令和少样本示例,指标(标签正确得 1,错误得 0)为每个候选打分并返回分数。FDE 和客户必须自己定义什么叫“正确”。编译后的提示词在 100 封留出邮件上评分:手写提示词得 78 分,编译后得 86/100,按每月 5,000 封邮件计,每月约少分错 400 封。
用 DSPy 时,FDE 的工作是定义什么叫“正确”。优化器寻找措辞,留出集给出最终得分。数据为文中的假设案例。

“Let’s think step by step”是人工写出的思维链提示词,它曾被一个借助语言模型的算法超越。自动提示词工程师(APE)方法找到了一个更长的变体:要求模型一步一步推理,“to be sure we have the right answer”(以确保我们得到正确答案)。

据 DAIR.AI 的 Prompt Engineering Guide,这种措辞在 MultiArith 和 GSM8K 两个题集上提升了结果。

值得关注的不是措辞本身,而是它的来历。没有人坐下来构思它,而是算法搜索并选出了它,就像调超参数一样。

前线部署工程师(FDE)几乎每周都会碰到这个问题。在客户现场,你可能花一整周为分类或抽取管道调提示词,客户一换模型,一切又得重来。DSPy 把这种手工调优变成一个优化问题,客户的评测集就是目标函数。

提示词是参数,不是手艺活

用算法寻找提示词的思路,最早由 Zhou 等人在 2022 年 11 月 3 日发布到 arXiv 的论文“Large Language Models Are Human-Level Prompt Engineers”中清楚阐述。APE 的机制很简单:LLM 先提出一批候选指令,系统再从中找出得分最高的一条。

在 24 项 NLP 任务中,APE 生成的指令有 19 项持平或超过人工标注员写的指令。

DSPy 把同样的逻辑用到了管道层面。Khattab、Zaharia、Potts 等人在 2023 年 10 月 5 日发布的论文描述了一个编译器,可以优化任意 DSPy 管道,使给定指标最大化。

DSPy 模块是参数化的,也就是说它们能够学习,比如学习提示词或少样本示例集。

Stanford NLP 的官方 README 把 DSPy 描述为一个“编程”而非“提示”语言模型的框架。它的全称是 Declarative Self-improving Python。据 README 介绍,它包含同时优化提示词和模型权重的算法。

什么时候该用 DSPy?

满足三个条件时,DSPy 最合适:任务有可度量的答案;客户有标注数据,或愿意去标;管道的模型或需求会持续变化。缺了第一条,比如客户只想要“听起来更好”的回答,却没人说得清什么叫更好,优化器就无从下手。

假设一家银行想把投诉邮件自动分成 6 类,分发到对应部门。运营团队标注了 300 封邮件。你拿出 200 封作为优化数据,另外 100 封留作优化器永远看不到的留出集。指标就是一个函数:预测标签与人工标签一致得 1 分,否则 0 分。

下面的代码草图展示了这三部分:声明输入输出的模块、指标函数和一次编译调用。它仅作示意,优化器的类名和参数请对照你所用 DSPy 版本的文档核实。(代码中的标识符含义:classifier 是分类器,complaint_category 是投诉类别,correct_label 是“标签正确”指标,train_emails 是用于优化的 200 封邮件,optimized_program 是优化后的程序。)

import dspy

# 模块:声明任务,不写提示词
classifier = dspy.Predict("email -> complaint_category")

# 指标:与人工标注一致得 1,否则得 0
def correct_label(example, prediction, trace=None):
    return prediction.complaint_category == example.complaint_category

# 编译:优化器从 200 封邮件中尝试不同的指令和少样本示例
optimizer = dspy.BootstrapFewShot(metric=correct_label)
optimized_program = optimizer.compile(classifier, trainset=train_emails)

# 只报告 100 封留出邮件上的得分

假设手写提示词在留出集上得分 78/100。你运行编译器,让它尝试各种方案,并用指标给每个方案打分。如果最佳方案在留出集上达到 86/100,差距就是每 100 封邮件 8 封。

按每月 5,000 封邮件计算,银行每月大约少把 400 封邮件发错部门。这个数字任何运营负责人一看就懂。

任务 由谁负责
定义什么叫“正确” FDE 与客户一起
标注数据并划出留出集 客户,FDE 核查
生成并测试提示词方案 优化器
分析留出集上剩余的错误 FDE

价值在最后一行。仍被分错的 14 封邮件,通常暴露出某个类别定义含糊或标注不一致,这正好成为下次与客户开会的议题。

优化器只对指标负责

DSPy 只优化你度量的东西,仅此而已。如果指标只检查输出格式而不看内容,你会得到一个非常擅长返回正确格式的提示词。如果评测集太小或分布偏斜,提示词就会过拟合那几十个样本。

所以要报告的是留出集得分,而不是优化数据上的得分。

成本同样要考虑。每尝试一个方案,就要多一批模型调用,因此先用小数据集和便宜的模型,再扩大规模。

即便如此,与其他方案相比,提示词优化仍是更经济的选择。GEPA 是 Agrawal、Khattab 等人在 2025 年发表的一种反思式提示词演化方法,其作者指出,GRPO 等强化学习方法往往需要数千次 rollout 才能学会一项新任务。

在六项任务上,GEPA 平均比 GRPO 高 6%,部分任务最多高 20%,所用 rollout 却最多少 35 倍。给 FDE 的启示是:先把提示词优化用到尽,再向客户提议微调。

先学什么,才能马上派上用场

不要从 API 入手,先练写指标和构建评测集,因为这些 DSPy 替你做不了。然后读 APE 的摘要,理解“提出—打分”的循环,再读 DSPy 论文,看模块、指标和编译器如何配合。

浏览 FDE 或 AI 工程师的岗位描述时,留意“eval”“prompt optimization”或直接点名 DSPy 的字样。简历上别写“精通提示词工程”,而是写一句带数字的话:评测集有多少样本,用了自动优化,留出集准确率提升了多少。

手写提示词在客户换模型的那一刻就过时了。定义清楚的评测集却一直有用,下次只需重新运行编译器。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 3: AI 应用AutoGen 进入维护模式,FDE 选框架该先问什么微软已引导新用户转向 Agent Framework,选型先问谁来维护,再问安全团队能否放行。