Braintrust 如何拦住演示能过、上线就坏的提示词
生产环境的失败案例变成数据集,每个 PR 都打分,回归在合并前就被拦下,不会落到客户头上。
要点速览
- 每个 Braintrust 评测都由三部分组成:数据、任务和评分。评分器可以是现成的 autoeval、LLM-as-a-judge,也可以是自定义代码。
- 官方 GitHub Action 会在每个 PR 上运行评测,把结果以评论形式发布,并可用来阻止合并。
- 真正的价值在于闭环:从生产环境中找出失败模式,把它们变成评测示例,长期作为质量门禁。
下午 5 点改了一版提示词,客户演示时看着没问题,于是合并了。第二天早上,客户的客服聊天机器人开始引用错误的退款条款,而这条它以前一直答对。当前线部署工程师(FDE)的时间够久,都见过这种事。问题不在代码写得差,而在合并之前没有任何东西衡量质量。
Braintrust 瞄准的正是这个缺口。这家公司把自己定位为面向智能体的主动式可观测性平台,核心是一个简单的闭环:在生产环境中发现模式,把它们变成评测,每次发布都提升质量。对 FDE 来说,它能把“好像变好了”的感觉换成一个你和客户都看得见的数字。
一个评测由什么组成?
Braintrust 文档把每个评测拆成三部分。数据(Data)是待评测的示例集合:输入,以及可选的期望输出或元数据。任务(Task)是调用你的应用、生成输出的函数。评分(Scores)是打分函数。
评分器最能体现 FDE 的功力。Braintrust 提供三种选择:现成的 autoevals、LLM-as-a-judge,或自定义代码。Autoevals 是采用 MIT 许可证的开源库,官方示例直接把 Factuality 评分器传给 Eval() 的 scores 参数。
自定义评分器的约定非常简单。函数接收 input、output、expected 和 metadata,返回 0 到 1 之间的数字,或者一个包含分数、可选名称和元数据的对象。如果不指定名称,Braintrust 会用函数名作为分数的键,所以给函数起名时,要像给业务指标起名一样。
示例:零售连锁的退款聊天机器人
假设客户是一家零售连锁企业,它的聊天机器人负责回答退货问题,而且必须始终引用正确的政策编号。Factuality 可以检查内容是否与期望答案一致,但“必须引用政策编号”是一条硬规则,用代码检查比让另一个模型来裁决更便宜,也更稳定。Python 草稿如下:
from braintrust import Eval
from autoevals import Factuality
def cites_policy_code(input, output, expected, metadata):
code = metadata["policy_code"]
return 1 if code in output else 0
Eval(
"refund-bot",
data=lambda: load_cases(), # 来自日志的 40 个真实问题
task=lambda input: refund_bot(input),
scores=[Factuality, cites_policy_code],
)
代入一些数字。假设数据集有 40 个问题,旧提示词在其中 36 个里引用了正确编号,cites_policy_code 得分 0.9。为了“更友好”而重写的新提示词只答对 28 个,少了 8 个,分数降到 0.7,尽管回答读起来依然通顺。
没有评测,这 8 个错误答案、20 个百分点的下滑,要等客户投诉才会暴露。有了评测,它们会立刻出现在 PR 上。所以在客户现场,第一件事不是挑工具,而是和运营团队坐下来,把聊天机器人答错过的问题找出来,为它们写好期望答案。
把分数接入 CI,到底能拦住什么?
文档建议在每个 PR 上运行评测,在回归进入生产环境之前发现它。Braintrust 有一个官方 GitHub Action,其明确用途是:在每个 PR 上运行评测,根据结果阻止合并,并自动向团队报告分数。
这个 Action 位于 braintrustdata/eval-action 仓库,它会把结果以评论形式发到 PR 上,因此 workflow 需要 pull-requests: write 权限。有两个输入值得了解:report_scores,用来筛选哪些分数出现在评论中;terminate_on_failure,默认值为 false。
不要让默认值替你做决定。评测失败时是否中止 workflow,要有意识地做出选择,并把理由写进客户团队的 README。
如果客户用的是 GitLab 或 Jenkins 而不是 GitHub,做法同样简单:在 CI 环境中设置 BRAINTRUST_API_KEY,让 bt eval 命令能读取到。在大型企业客户那里,这往往是最大的卡点,因为给流水线申请一个新密钥可能要花整整一周。第一天就提出申请。
难的部分,工具替你做不了
Braintrust 负责基础设施:运行、存储、对比、评论。它不知道哪些问题对你的客户重要。随机挑 40 个示例,只会得到一个整齐却毫无意义的数字。
LLM-as-a-judge 也要谨慎。它是一个模型给另一个模型打分,所以在把它当作合并门禁之前,先人工给一小批样本打分,看看评判模型和人的判断是否一致。凡是能用代码检查的规则,都应该写成代码。
还有一个实际问题:评分器可以在脚本中内联定义,可以通过 CLI 从文件推送到 Braintrust,也可以在 UI 里创建。在客户现场,把评分器和代码一起放在仓库里,通过 PR 评审,不要让它们散落在网页界面中。
先学什么,简历上写什么
合理的顺序是:先搭一个能在本地运行、带一个 autoevals 评分器的 Eval(),再用代码写一个评分器,最后才接入 CI。如果 FDE 或应用 AI 工程师的岗位描述里提到评测、LLM 应用回归测试或 LLM 可观测性,你练的就是这项技能。
简历上不要写“熟悉 Braintrust”。要写清楚你的评测套件有多少个示例、它们来自真实日志,评分器检查了哪些规则,CI 门禁拦下了哪些回归。FDE 招聘经理买的不是工具名,而是把客户的担忧变成一个能阻止合并的数字的能力。
这篇文章对你有帮助吗?
感谢你的反馈!