Agent 说订单已取消,数据库未必同意
仿照 τ-bench 的评分器只查数据库、不看对话记录,在笔记本上用 Python 一个下午就能搭好。
要点速览
- τ-bench 把对话结束时的数据库与目标状态对比来给 Agent 打分,不需要人工或 LLM 评审。
- 参考实现会在 Agent 运行后对数据求哈希,在干净副本上重放正确操作,两个哈希不一致就记 0 分。
- 在零售场景中,强函数调用 Agent 的 pass^8 低于 25%:做对一次远比每次都做对容易。
Agent 对客户说:“您的订单已取消。”对话记录看上去无可挑剔。至于订单在数据库里是否真的变成了已取消状态,就是另一回事了。
Anthropic 的评测指南用一个预订的例子讲的正是这一点:真正的结果是环境的 SQL 数据库里有没有那条预订记录,而 Agent 完全可能报告成功,实际状态却恰恰相反。
取消订单也一样:要检查的是数据里这笔订单对应的那一行,而不是 Agent 说了什么。
τ-bench 是 Sierra 在 2024 年发布的基准测试,就是围绕这个思路设计的。它不看对话,只看数据:对话结束时,把数据库与基准作者事先标注好的目标状态对比。Sierra 把这种做法称为状态评测(stateful evaluation),它让评分不再需要人工或 LLM 参与。
这项技能之所以重要,是因为在客户现场,问题永远是“Agent 有没有做对?”,而不是“Agent 有没有说自己做了?”。本文用与 τ-bench 相同的机制搭一个迷你评分器,只需 Python,在笔记本上就能跑。
要做出什么,需要准备什么?
最终产物是一个 reward 函数,给每次运行打 1 分或 0 分,外加一个在多次运行上计算 pass^k 的函数。需要 Python 3、一个用 dict 充当的“数据库”,以及一个能调用工具的 Agent。任何 Agent 框架都可以,只要它通过工具函数修改数据。
下面的代码都是为说明机制而重写的简化版本,并非 τ-bench 仓库里的代码。原始实现在 tau_bench/envs/base.py,读完本文后值得一看。
第 1 步:用一个哈希函数覆盖整个数据库
参考实现中,get_data_hash 函数会在 Agent 结束后立即对环境的全部数据求哈希。最简单的等价做法是按固定键顺序序列化 dict,再求哈希:
import copy, hashlib, json
def data_hash(data: dict) -> str:
blob = json.dumps(data, sort_keys=True, ensure_ascii=False)
return hashlib.sha256(blob.encode()).hexdigest()
检查方法:对同一个 dict 调用两次,再对它的 deepcopy 调用一次,三次必须返回相同的字符串。如果不同,说明数据里有不确定的成分,通常是 set 或无法稳定序列化的对象。
第 2 步:把每个任务写成一串正确操作
在 τ-bench 中,Agent 在每个领域都有一组工具 API 和一套策略,用户则由 LLM 扮演,进行多轮对话。每个任务都附带答案,答案的形式是正确操作,而不是一段模型回复。以一家零售店为例:
def cancel_order(data, order_id, reason):
data["orders"][order_id]["status"] = "cancelled"
data["orders"][order_id]["cancel_reason"] = reason
TOOLS = {"cancel_order": cancel_order}
task = {
"instruction": "客户因误下单,想取消订单 W1001",
"actions": [("cancel_order",
{"order_id": "W1001", "reason": "ordered by mistake"})],
"outputs": [],
}
检查方法:在数据副本上手动执行 actions 里的操作,查看结果。它必须正好是一位称职的客服处理完这个案例后应留下的状态。
第 3 步:比较 Agent 的哈希与答案的哈希
这是核心。τ-bench 的 calculate_reward 函数在干净的数据副本上重放正确操作,把得到的哈希与 Agent 最终的哈希比较,不一致就记 0 分。
参考实现还会检查 task.outputs:如果任务要求 Agent 说出某个特定字符串,就在忽略大小写、去掉逗号后进行比对,没说到就丢分。
def reward(initial, agent_data, task, agent_replies):
gt = copy.deepcopy(initial)
for name, args in task["actions"]:
TOOLS[name](gt, **args)
if data_hash(agent_data) != data_hash(gt):
return 0.0
said = " ".join(agent_replies).lower().replace(",", "")
for out in task["outputs"]:
if out.lower().replace(",", "") not in said:
return 0.0
return 1.0
现在设想一个案例。Agent 取消了正确的订单 W1001,但把原因记成了“不再需要”(no longer needed),而客户明明说的是误下单。对话记录依然通顺,客户也照样道谢,但 cancel_reason 字段不同,哈希对不上,这次运行记 0 分。人工评审快速浏览对话记录时,很容易漏掉这种错误。
第 4 步:多次运行,计算 pass^k
做对一次说明不了太多。Sierra 引入 pass^k 来检验一致性:在同一任务上,Agent 能否重复得出正确结果?
按 Anthropic 的解释,这是 k 次运行全部不失败的概率,因此 k 越大,数值越低。这也是它对直接面向客户的 Agent 格外重要的原因。
def pass_hat_k(results): # {task_id: [1.0, 0.0, ...]},每个任务运行 k 次
ok = [all(r == 1.0 for r in runs) for runs in results.values()]
return sum(ok) / len(ok)
这个函数做了简化:每个任务正好运行 k 次,只有 k 次全部成功才算通过。如果想把自己的数字与 τ-bench 论文中的数字对比,请先看论文的计算方式。
算一笔账:如果 Agent 每次运行的成功率是 60%,且各次运行相互独立,那么 8 次全部成功的概率是 0.6 的 8 次方,约 1.7%。
60% 的平均值看起来还过得去,但客户实际感受到的更接近 1.7%。
τ-bench 的实际结果也指向同一方向。即便是最好的 GPT-4o Agent,在两个领域的平均成功率也不到一半;在零售领域,强函数调用 Agent 的 pass^8 低于 25%。Sierra 写道,所有受测 Agent 在一致性测试上的表现都非常差。
想运行原版怎么办?
sierra-research/tau-bench 仓库通过 CLI 运行,可以选择 Agent 策略、环境和模型:
python run.py --env retail --model gpt-4o --agent-strategy tool-calling
仓库也支持按 ID 运行单个任务,具体语法见 README。注意,仓库明确说明任务集已不再更新。用它来学习评分机制,不要把它当作衡量客户 Agent 的现行标尺。
让评分器骗过你的常见错误
把随机字段算进哈希。 如果时间戳、随机生成的 ID 或更新时间进入了哈希,做对了的 Agent 也可能得 0 分。求哈希前把这些字段剔除或归一化为固定值,并记录排除了哪些字段。
正确操作有歧义。 如果客户的请求有两种都符合策略的处理方式,精确的哈希比对会冤枉 Agent。改写指令,让正确的目标状态只剩一个。
只读任务忘了 outputs。 客户查询余额时,数据库不会变化,即使 Agent 报错了数字,哈希也会一致。这类任务要靠回复中必须出现的字符串来决定分数。
还有一个诱惑:回头翻对话记录,给 Agent“打个辛苦分”。Anthropic 建议对 Agent 的产出打分,而不是对它走的路径打分。对话记录用来在任务失败时查找原因,不用来评分。
这项技能在客户现场如何体现?
在真实部署中,“数据库”是客户 CRM、工单系统或预订系统的沙箱。难点不在代码,而在于和领域专家坐下来,为每个场景写出目标状态,包括策略禁止 Agent 行动的场景。
到现场后第一件事,是要一份可以重置的数据副本:不能重置就无法重跑,无法重跑就没有 pass^k。
在前线部署工程师(FDE)的简历或面试中,“搭建了按数据库状态给 Agent 打分的评测框架,在取自真实工单的任务上报告 pass^k”这样一句话,远比“有 LLM 经验”有分量。岗位描述里提到评测或可靠性时,准备好在面试中讲讲这样一个评分器的故事。
下次给客户做演示时,别只给他们看对话。给他们看两个一致的哈希,连续八次。
这篇文章对你有帮助吗?
感谢你的反馈!