# Braintrust 如何拦住演示能过、上线就坏的提示词

> 生产环境的失败案例变成数据集，每个 PR 都打分，回归在合并前就被拦下，不会落到客户头上。

原文: https://fdetimes.net/zh/tools/braintrust-evals-block-merge-regressions/

下午 5 点改了一版提示词，客户演示时看着没问题，于是合并了。第二天早上，客户的客服聊天机器人开始引用错误的退款条款，而这条它以前一直答对。当前线部署工程师（FDE）的时间够久，都见过这种事。问题不在代码写得差，而在合并之前没有任何东西衡量质量。

Braintrust 瞄准的正是这个缺口。这家公司把自己定位为面向智能体的主动式可观测性平台，核心是一个简单的闭环：在生产环境中发现模式，把它们变成评测，每次发布都提升质量。对 FDE 来说，它能把“好像变好了”的感觉换成一个你和客户都看得见的数字。

## 一个评测由什么组成？

Braintrust 文档把每个评测拆成三部分。数据（Data）是待评测的示例集合：输入，以及可选的期望输出或元数据。任务（Task）是调用你的应用、生成输出的函数。评分（Scores）是打分函数。

评分器最能体现 FDE 的功力。Braintrust 提供三种选择：现成的 autoevals、LLM-as-a-judge，或自定义代码。Autoevals 是采用 MIT 许可证的开源库，官方示例直接把 Factuality 评分器传给 Eval() 的 scores 参数。

自定义评分器的约定非常简单。函数接收 input、output、expected 和 metadata，返回 0 到 1 之间的数字，或者一个包含分数、可选名称和元数据的对象。如果不指定名称，Braintrust 会用函数名作为分数的键，所以给函数起名时，要像给业务指标起名一样。

## 示例：零售连锁的退款聊天机器人

假设客户是一家零售连锁企业，它的聊天机器人负责回答退货问题，而且必须始终引用正确的政策编号。Factuality 可以检查内容是否与期望答案一致，但“必须引用政策编号”是一条硬规则，用代码检查比让另一个模型来裁决更便宜，也更稳定。Python 草稿如下：

```python
from braintrust import Eval
from autoevals import Factuality

def cites_policy_code(input, output, expected, metadata):
    code = metadata["policy_code"]
    return 1 if code in output else 0

Eval(
    "refund-bot",
    data=lambda: load_cases(),   # 来自日志的 40 个真实问题
    task=lambda input: refund_bot(input),
    scores=[Factuality, cites_policy_code],
)
```

代入一些数字。假设数据集有 40 个问题，旧提示词在其中 36 个里引用了正确编号，cites_policy_code 得分 0.9。为了“更友好”而重写的新提示词只答对 28 个，少了 8 个，分数降到 0.7，尽管回答读起来依然通顺。

没有评测，这 8 个错误答案、20 个百分点的下滑，要等客户投诉才会暴露。有了评测，它们会立刻出现在 PR 上。所以在客户现场，第一件事不是挑工具，而是和运营团队坐下来，把聊天机器人答错过的问题找出来，为它们写好期望答案。

## 把分数接入 CI，到底能拦住什么？

文档建议在每个 PR 上运行评测，在回归进入生产环境之前发现它。Braintrust 有一个官方 GitHub Action，其明确用途是：在每个 PR 上运行评测，根据结果阻止合并，并自动向团队报告分数。

这个 Action 位于 braintrustdata/eval-action 仓库，它会把结果以评论形式发到 PR 上，因此 workflow 需要 pull-requests: write 权限。有两个输入值得了解：report_scores，用来筛选哪些分数出现在评论中；terminate_on_failure，默认值为 false。

不要让默认值替你做决定。评测失败时是否中止 workflow，要有意识地做出选择，并把理由写进客户团队的 README。

如果客户用的是 GitLab 或 Jenkins 而不是 GitHub，做法同样简单：在 CI 环境中设置 BRAINTRUST_API_KEY，让 bt eval 命令能读取到。在大型企业客户那里，这往往是最大的卡点，因为给流水线申请一个新密钥可能要花整整一周。第一天就提出申请。

**要点:** 最好的评测套件不是凭想象写出来的，而是根据客户已经踩过的坑写出来的。

## 难的部分，工具替你做不了

Braintrust 负责基础设施：运行、存储、对比、评论。它不知道哪些问题对你的客户重要。随机挑 40 个示例，只会得到一个整齐却毫无意义的数字。

LLM-as-a-judge 也要谨慎。它是一个模型给另一个模型打分，所以在把它当作合并门禁之前，先人工给一小批样本打分，看看评判模型和人的判断是否一致。凡是能用代码检查的规则，都应该写成代码。

还有一个实际问题：评分器可以在脚本中内联定义，可以通过 CLI 从文件推送到 Braintrust，也可以在 UI 里创建。在客户现场，把评分器和代码一起放在仓库里，通过 PR 评审，不要让它们散落在网页界面中。

## 先学什么，简历上写什么

合理的顺序是：先搭一个能在本地运行、带一个 autoevals 评分器的 Eval()，再用代码写一个评分器，最后才接入 CI。如果 FDE 或应用 AI 工程师的岗位描述里提到评测、LLM 应用回归测试或 LLM 可观测性，你练的就是这项技能。

简历上不要写“熟悉 Braintrust”。要写清楚你的评测套件有多少个示例、它们来自真实日志，评分器检查了哪些规则，CI 门禁拦下了哪些回归。FDE 招聘经理买的不是工具名，而是把客户的担忧变成一个能阻止合并的数字的能力。

**本周动手试试:**

- 从你项目的聊天机器人答错过的问题里挑 20 个真实问题，为每个写一个期望输出，做成 Eval() 的数据
- 写一个基于代码的评分器，检查一条业务硬规则（政策编号、货币格式），返回 0 或 1
- 在测试仓库中加入 braintrustdata/eval-action，授予 pull-requests: write 权限，然后开一个修改提示词的 PR，看看分数评论

## 信源

- [Braintrust - The active observability platform for agents](https://www.braintrust.dev/)

- [Evaluate systematically](https://www.braintrust.dev/docs/evaluate)

- [Custom code evaluators](https://www.braintrust.dev/docs/evaluate/custom-code)

- [Run experiments in CI/CD](https://www.braintrust.dev/docs/evaluate/run-in-ci.md)

- [GitHub - braintrustdata/eval-action](https://github.com/braintrustdata/eval-action)

- [GitHub - braintrustdata/autoevals](https://github.com/braintrustdata/autoevals)
