FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

提示词已回滚,客户仍可能再用一分钟坏版本

Langfuse SDK 默认在客户端缓存提示词 60 秒,因此要把标签当部署、评测当测试,回滚预案提前写好。

分享微博

要点速览

  • 在标签模型里,移动 `production` 标签就是部署,移回去就是回滚,不需要重新构建代码。
  • 每个修改提示词的 PR 都必须运行自动化评测,评测失败就阻止合并;测试用例要贴合真实任务分布,并包含边界情况。
  • 回滚要提前规划。SDK 默认缓存 60 秒,所以向客户说明情况时要把这段生效延迟讲清楚。
时间轴显示 production 标签切回旧版本后 0 到 60 秒内的情况。0 到 60 秒之间,部分实例仍在使用有问题的提示词(橙色带);60 秒之后,修复后的版本才到达客户。结论:告诉客户“一分钟内”。
标签回滚不会立即生效:Langfuse SDK 在客户端缓存提示词,默认 TTL 为 60 秒,部分实例最多一分钟内仍可能使用有问题的提示词。来源:文中引用的 Langfuse SDK 文档。

Langfuse 的 SDK 会在客户端缓存提示词,默认 TTL 为 60 秒。所以,为了控制事故,把 production 标签移回旧版提示词后,部分正在运行的实例在之后最多一分钟里,仍可能用有问题的提示词回复客户。控制台上的回滚已经完成,客户那边却未必。

这段时间差背后是一个更大的问题。生产环境中的提示词不只是一段改完保存的文本,而是一个有完整部署生命周期的制品:版本管理、测试、发布、回滚,还有生效延迟。

对在客户现场调优 LLM 系统的工程师来说,这套规范应该在第一次事故之前就建好,而不是事后补上。下面用一个假设案例从头走到尾,说明原因。

部署就是移动指针

假设你为客户运行一个工单分类 Agent。客户反映,Agent 把退款投诉归到了“信息咨询”类。你修改提示词,加了一段关于财务类投诉的指引。在 Langfuse 中,这次修改会生成一个新版本,latest 标签自动指向它。

但 latest 并不是生产版本。代码获取提示词时如果不指定标签,Langfuse 返回的是带 production 标签的版本。两个指针有意分开:实验版本想建多少就建多少,客户一个也看不到,直到你主动把 production 移到新版本上。

latest 标签

  • 自动指向最新版本
  • 每次有人修改提示词都会移动
  • 不是客户正在使用的版本

production 标签

  • 代码不指定标签获取提示词时返回它
  • 只有主动发布时才会移动
  • 可设为受保护,viewer 和 member 无法移动或删除

Langfuse 关于管理数百个提示词的技术指南用一句话概括了这个模型:移动标签就是部署,移回去就是回滚。不用构建,不用发版,不改代码,唯一移动的是指针。

部署既然只是移动指针,下一个问题就是谁有权移动它。Langfuse 提供受保护标签,具体取决于套餐:标签设为受保护后,viewer 和 member 角色无法移动或删除它。在 Enterprise 套餐中,审计日志会记录每次发布和标签变更。

在这个案例里,如果 production 标签受保护,而客户的员工只有 viewer 或 member 角色,他们就无法自行移动标签,把“快速修复”推上生产环境。

评测通过,指针才能移动

回到你的修复。移动标签之前要先回答:这个版本比旧版好在哪里?有没有弄坏别的东西?Braintrust 建议,每个修改提示词的 pull request 都要运行自动化评测。

TianPan 在一篇谈提示词版本管理规范的文章中更进一步:每个改动提示词文件的 PR 都触发自动化评测,评测失败就阻止合并。

可以把这看作提示词的单元测试。和单元测试一样,质量取决于测试用例。Anthropic 关于构建评测的文档建议,测试设计要贴合真实任务分布,也不要漏掉边界情况。

对工单分类器而言,评测集里投诉、信息咨询和技术故障的比例,应当与客户实际收到的工单一致,再加上难处理的情况:混用多种语言写的工单,既提问又投诉的工单。

“加一段财务投诉指引”这个修复,可能让投诉类得分上升,同时让 Agent 开始把询问运费的问题也归为投诉。只有基于真实分布的评测,才能赶在客户之前发现这一点。

回滚是演练过的脚本

假设评测通过,你移动了 production。两天后,客户报告了一个评测集没有覆盖的新故障。这时 TianPan 的观点就落到了实处:回滚应该是事先规划好的操作,而不是事故中的临场发挥。Braintrust 从流量角度表达了同样的意思:回退就是把流量切回上一个可靠版本。

这里的“事先规划”包含三点。第一,你确切知道哪个是最后一个可靠版本,而不是“上周那个好像没问题”。第二,你知道谁有权移动标签,以及操作具体是什么:在 Langfuse 中,就是把 production 标签重新指向旧版本,不必重新部署代码。

第三,你知道延迟:默认缓存 60 秒,所以要告诉客户“一分钟内”,而不是“立即”。

然后回到测试。客户报告的新故障必须变成评测集里的一个测试用例,这样下次故障再出现,指针就移动不了。这样闭环才算完成:每次事故都让评测集更扎实,而不只是让人更疲惫。

怎样把工单故事写进简历

对准备应聘前线部署工程师(FDE)岗位的人来说,上面的工单分类器案例,正是简历和面试中该讲的故事。

别写“具备提示词工程经验”。要讲清楚:你怎样修复了错分退款投诉的提示词,哪个评测拦下了弄坏运费工单的那次修复,谁有权移动 production 标签,回滚多久才生效。

阅读岗位描述时,看到 prompt management、eval pipeline 或可观测性(observability)这类字眼,就该拿出这个故事。一次具体的回滚,哪怕来自业余项目,也比任何关于“提示词优化”的说法更有分量。

客户永远看不到你的版本。他们只看到 production 指针指向哪里,以及你要多久才能把它移到安全的位置。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 3: AI 应用客户最难的那页 PDF,值得付 25 倍解析费LlamaParse 的 Fast 档能处理纯文本,带合并单元格的表格却要更高档位,报价前先测最难的页面。