FDE Times 数据在招 FDE 职位 881▼3 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 53在招公司 184支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

Braintrust 如何拦住演示能过、上线就坏的提示词

生产环境的失败案例变成数据集,每个 PR 都打分,回归在合并前就被拦下,不会落到客户头上。

分享微博

要点速览

  • 每个 Braintrust 评测都由三部分组成:数据、任务和评分。评分器可以是现成的 autoeval、LLM-as-a-judge,也可以是自定义代码。
  • 官方 GitHub Action 会在每个 PR 上运行评测,把结果以评论形式发布,并可用来阻止合并。
  • 真正的价值在于闭环:从生产环境中找出失败模式,把它们变成评测示例,长期作为质量门禁。
四步示意图:生产环境失败(从真实日志中摘出的聊天机器人过往答错的回答)引出数据(40 个真实问题,含 input 和 expected,由 Task 调用聊天机器人),再到评分(Factuality、cites_policy_code,分数 0 到 1),最后是在每个 PR 上运行、评论分数并阻止合并的 CI 门禁。下方条形图显示:旧提示词在 40 个案例中有 36 个引用了正确政策编号(得分 0.9),新的“更友好”提示词只有 28 个(得分 0.7)。高亮注释写着:漏掉 8 个,相当于 20 个百分点,立刻在 PR 上可见。
新提示词读起来依然通顺,但在 cites_policy_code 评分器上 40 个案例漏掉 8 个。评测在每个 PR 上运行时,这个差距会在合并前暴露,而不是等客户投诉之后。

下午 5 点改了一版提示词,客户演示时看着没问题,于是合并了。第二天早上,客户的客服聊天机器人开始引用错误的退款条款,而这条它以前一直答对。当前线部署工程师(FDE)的时间够久,都见过这种事。问题不在代码写得差,而在合并之前没有任何东西衡量质量。

Braintrust 瞄准的正是这个缺口。这家公司把自己定位为面向智能体的主动式可观测性平台,核心是一个简单的闭环:在生产环境中发现模式,把它们变成评测,每次发布都提升质量。对 FDE 来说,它能把“好像变好了”的感觉换成一个你和客户都看得见的数字。

一个评测由什么组成?

Braintrust 文档把每个评测拆成三部分。数据(Data)是待评测的示例集合:输入,以及可选的期望输出或元数据。任务(Task)是调用你的应用、生成输出的函数。评分(Scores)是打分函数。

评分器最能体现 FDE 的功力。Braintrust 提供三种选择:现成的 autoevals、LLM-as-a-judge,或自定义代码。Autoevals 是采用 MIT 许可证的开源库,官方示例直接把 Factuality 评分器传给 Eval() 的 scores 参数。

自定义评分器的约定非常简单。函数接收 input、output、expected 和 metadata,返回 0 到 1 之间的数字,或者一个包含分数、可选名称和元数据的对象。如果不指定名称,Braintrust 会用函数名作为分数的键,所以给函数起名时,要像给业务指标起名一样。

示例:零售连锁的退款聊天机器人

假设客户是一家零售连锁企业,它的聊天机器人负责回答退货问题,而且必须始终引用正确的政策编号。Factuality 可以检查内容是否与期望答案一致,但“必须引用政策编号”是一条硬规则,用代码检查比让另一个模型来裁决更便宜,也更稳定。Python 草稿如下:

from braintrust import Eval
from autoevals import Factuality

def cites_policy_code(input, output, expected, metadata):
    code = metadata["policy_code"]
    return 1 if code in output else 0

Eval(
    "refund-bot",
    data=lambda: load_cases(),   # 来自日志的 40 个真实问题
    task=lambda input: refund_bot(input),
    scores=[Factuality, cites_policy_code],
)

代入一些数字。假设数据集有 40 个问题,旧提示词在其中 36 个里引用了正确编号,cites_policy_code 得分 0.9。为了“更友好”而重写的新提示词只答对 28 个,少了 8 个,分数降到 0.7,尽管回答读起来依然通顺。

没有评测,这 8 个错误答案、20 个百分点的下滑,要等客户投诉才会暴露。有了评测,它们会立刻出现在 PR 上。所以在客户现场,第一件事不是挑工具,而是和运营团队坐下来,把聊天机器人答错过的问题找出来,为它们写好期望答案。

把分数接入 CI,到底能拦住什么?

文档建议在每个 PR 上运行评测,在回归进入生产环境之前发现它。Braintrust 有一个官方 GitHub Action,其明确用途是:在每个 PR 上运行评测,根据结果阻止合并,并自动向团队报告分数。

这个 Action 位于 braintrustdata/eval-action 仓库,它会把结果以评论形式发到 PR 上,因此 workflow 需要 pull-requests: write 权限。有两个输入值得了解:report_scores,用来筛选哪些分数出现在评论中;terminate_on_failure,默认值为 false。

不要让默认值替你做决定。评测失败时是否中止 workflow,要有意识地做出选择,并把理由写进客户团队的 README。

如果客户用的是 GitLab 或 Jenkins 而不是 GitHub,做法同样简单:在 CI 环境中设置 BRAINTRUST_API_KEY,让 bt eval 命令能读取到。在大型企业客户那里,这往往是最大的卡点,因为给流水线申请一个新密钥可能要花整整一周。第一天就提出申请。

难的部分,工具替你做不了

Braintrust 负责基础设施:运行、存储、对比、评论。它不知道哪些问题对你的客户重要。随机挑 40 个示例,只会得到一个整齐却毫无意义的数字。

LLM-as-a-judge 也要谨慎。它是一个模型给另一个模型打分,所以在把它当作合并门禁之前,先人工给一小批样本打分,看看评判模型和人的判断是否一致。凡是能用代码检查的规则,都应该写成代码。

还有一个实际问题:评分器可以在脚本中内联定义,可以通过 CLI 从文件推送到 Braintrust,也可以在 UI 里创建。在客户现场,把评分器和代码一起放在仓库里,通过 PR 评审,不要让它们散落在网页界面中。

先学什么,简历上写什么

合理的顺序是:先搭一个能在本地运行、带一个 autoevals 评分器的 Eval(),再用代码写一个评分器,最后才接入 CI。如果 FDE 或应用 AI 工程师的岗位描述里提到评测、LLM 应用回归测试或 LLM 可观测性,你练的就是这项技能。

简历上不要写“熟悉 Braintrust”。要写清楚你的评测套件有多少个示例、它们来自真实日志,评分器检查了哪些规则,CI 门禁拦下了哪些回归。FDE 招聘经理买的不是工具名,而是把客户的担忧变成一个能阻止合并的数字的能力。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 6: 价值度量一个 YAML 文件,回答 LLM 客户必问的两个问题Promptfoo 在本地跑评测和红队测试,3 个 prompt、2 个模型、20 道题一次得出 120 个结果。