# 提示词已回滚，客户仍可能再用一分钟坏版本

> Langfuse SDK 默认在客户端缓存提示词 60 秒，因此要把标签当部署、评测当测试，回滚预案提前写好。

原文: https://fdetimes.net/zh/guides/prompt-versioning-labels-eval-rollback/

Langfuse 的 SDK 会在客户端缓存提示词，默认 TTL 为 60 秒。所以，为了控制事故，把 `production` 标签移回旧版提示词后，部分正在运行的实例在之后最多一分钟里，仍可能用有问题的提示词回复客户。控制台上的回滚已经完成，客户那边却未必。

这段时间差背后是一个更大的问题。生产环境中的提示词不只是一段改完保存的文本，而是一个有完整部署生命周期的制品：版本管理、测试、发布、回滚，还有生效延迟。

对在客户现场调优 LLM 系统的工程师来说，这套规范应该在第一次事故之前就建好，而不是事后补上。下面用一个假设案例从头走到尾，说明原因。

## 部署就是移动指针

假设你为客户运行一个工单分类 Agent。客户反映，Agent 把退款投诉归到了“信息咨询”类。你修改提示词，加了一段关于财务类投诉的指引。在 Langfuse 中，这次修改会生成一个新版本，`latest` 标签自动指向它。

但 `latest` 并不是生产版本。代码获取提示词时如果不指定标签，Langfuse 返回的是带 `production` 标签的版本。两个指针有意分开：实验版本想建多少就建多少，客户一个也看不到，直到你主动把 `production` 移到新版本上。

Langfuse 关于管理数百个提示词的技术指南用一句话概括了这个模型：移动标签就是部署，移回去就是回滚。不用构建，不用发版，不改代码，唯一移动的是指针。

部署既然只是移动指针，下一个问题就是谁有权移动它。Langfuse 提供受保护标签，具体取决于套餐：标签设为受保护后，viewer 和 member 角色无法移动或删除它。在 Enterprise 套餐中，审计日志会记录每次发布和标签变更。

在这个案例里，如果 `production` 标签受保护，而客户的员工只有 viewer 或 member 角色，他们就无法自行移动标签，把“快速修复”推上生产环境。

## 评测通过，指针才能移动

回到你的修复。移动标签之前要先回答：这个版本比旧版好在哪里？有没有弄坏别的东西？Braintrust 建议，每个修改提示词的 pull request 都要运行自动化评测。

TianPan 在一篇谈提示词版本管理规范的文章中更进一步：每个改动提示词文件的 PR 都触发自动化评测，评测失败就阻止合并。

可以把这看作提示词的单元测试。和单元测试一样，质量取决于测试用例。Anthropic 关于构建评测的文档建议，测试设计要贴合真实任务分布，也不要漏掉边界情况。

对工单分类器而言，评测集里投诉、信息咨询和技术故障的比例，应当与客户实际收到的工单一致，再加上难处理的情况：混用多种语言写的工单，既提问又投诉的工单。

“加一段财务投诉指引”这个修复，可能让投诉类得分上升，同时让 Agent 开始把询问运费的问题也归为投诉。只有基于真实分布的评测，才能赶在客户之前发现这一点。

**要点:** 评测通过是移动标签的前提，而不是标签移动之后才做的事。

## 回滚是演练过的脚本

假设评测通过，你移动了 `production`。两天后，客户报告了一个评测集没有覆盖的新故障。这时 TianPan 的观点就落到了实处：回滚应该是事先规划好的操作，而不是事故中的临场发挥。Braintrust 从流量角度表达了同样的意思：回退就是把流量切回上一个可靠版本。

这里的“事先规划”包含三点。第一，你确切知道哪个是最后一个可靠版本，而不是“上周那个好像没问题”。第二，你知道谁有权移动标签，以及操作具体是什么：在 Langfuse 中，就是把 `production` 标签重新指向旧版本，不必重新部署代码。

第三，你知道延迟：默认缓存 60 秒，所以要告诉客户“一分钟内”，而不是“立即”。

然后回到测试。客户报告的新故障必须变成评测集里的一个测试用例，这样下次故障再出现，指针就移动不了。这样闭环才算完成：每次事故都让评测集更扎实，而不只是让人更疲惫。

## 怎样把工单故事写进简历

对准备应聘前线部署工程师（FDE）岗位的人来说，上面的工单分类器案例，正是简历和面试中该讲的故事。

别写“具备提示词工程经验”。要讲清楚：你怎样修复了错分退款投诉的提示词，哪个评测拦下了弄坏运费工单的那次修复，谁有权移动 production 标签，回滚多久才生效。

阅读岗位描述时，看到 prompt management、eval pipeline 或可观测性（observability）这类字眼，就该拿出这个故事。一次具体的回滚，哪怕来自业余项目，也比任何关于“提示词优化”的说法更有分量。

客户永远看不到你的版本。他们只看到 `production` 指针指向哪里，以及你要多久才能把它移到安全的位置。

**本周动手试试:**

- 在你的某个 LLM 项目里，把提示词从代码中移出来，为它们加上版本，并设置一个与 latest 分开的 production 标签。
- 编写 20 个贴合真实输入类型比例的测试用例，至少再加 5 个边界情况，接入 CI，让它们在每次修改提示词前运行。
- 写一页回滚手册：最后一个可靠版本、谁有权移动标签、预计多久生效。

## 信源

- [Prompt Version Control (Langfuse docs)](https://langfuse.com/docs/prompt-management/features/prompt-version-control)

- [How to organize, version, and test hundreds of prompts (Langfuse)](https://langfuse.com/resources/engineering/prompt-management-at-scale.md)

- [What is prompt versioning? Best practices for iteration without breaking production](https://www.braintrust.dev/articles/what-is-prompt-versioning)

- [Prompt Versioning in Production: The Engineering Discipline Teams Learn the Hard Way](https://tianpan.co/blog/2026-04-09-prompt-versioning-production-llm)

- [Define success criteria and build evaluations (Anthropic docs)](https://platform.claude.com/docs/en/docs/test-and-evaluate/eval-tool)
