# Agent 说订单已取消，数据库未必同意

> 仿照 τ-bench 的评分器只查数据库、不看对话记录，在笔记本上用 Python 一个下午就能搭好。

原文: https://fdetimes.net/zh/guides/stateful-agent-evaluation-tau-bench-harness/

Agent 对客户说：“您的订单已取消。”对话记录看上去无可挑剔。至于订单在数据库里是否真的变成了已取消状态，就是另一回事了。

Anthropic 的评测指南用一个预订的例子讲的正是这一点：真正的结果是环境的 SQL 数据库里有没有那条预订记录，而 Agent 完全可能报告成功，实际状态却恰恰相反。

取消订单也一样：要检查的是数据里这笔订单对应的那一行，而不是 Agent 说了什么。

τ-bench 是 Sierra 在 2024 年发布的基准测试，就是围绕这个思路设计的。它不看对话，只看数据：对话结束时，把数据库与基准作者事先标注好的目标状态对比。Sierra 把这种做法称为状态评测（stateful evaluation），它让评分不再需要人工或 LLM 参与。

这项技能之所以重要，是因为在客户现场，问题永远是“Agent 有没有做对？”，而不是“Agent 有没有说自己做了？”。本文用与 τ-bench 相同的机制搭一个迷你评分器，只需 Python，在笔记本上就能跑。

## 要做出什么，需要准备什么？

最终产物是一个 `reward` 函数，给每次运行打 1 分或 0 分，外加一个在多次运行上计算 pass^k 的函数。需要 Python 3、一个用 dict 充当的“数据库”，以及一个能调用工具的 Agent。任何 Agent 框架都可以，只要它通过工具函数修改数据。

下面的代码都是为说明机制而重写的简化版本，并非 τ-bench 仓库里的代码。原始实现在 `tau_bench/envs/base.py`，读完本文后值得一看。

## 第 1 步：用一个哈希函数覆盖整个数据库

参考实现中，`get_data_hash` 函数会在 Agent 结束后立即对环境的全部数据求哈希。最简单的等价做法是按固定键顺序序列化 dict，再求哈希：

```python
import copy, hashlib, json

def data_hash(data: dict) -> str:
    blob = json.dumps(data, sort_keys=True, ensure_ascii=False)
    return hashlib.sha256(blob.encode()).hexdigest()
```

检查方法：对同一个 dict 调用两次，再对它的 `deepcopy` 调用一次，三次必须返回相同的字符串。如果不同，说明数据里有不确定的成分，通常是 set 或无法稳定序列化的对象。

## 第 2 步：把每个任务写成一串正确操作

在 τ-bench 中，Agent 在每个领域都有一组工具 API 和一套策略，用户则由 LLM 扮演，进行多轮对话。每个任务都附带答案，答案的形式是正确操作，而不是一段模型回复。以一家零售店为例：

```python
def cancel_order(data, order_id, reason):
    data["orders"][order_id]["status"] = "cancelled"
    data["orders"][order_id]["cancel_reason"] = reason

TOOLS = {"cancel_order": cancel_order}

task = {
    "instruction": "客户因误下单，想取消订单 W1001",
    "actions": [("cancel_order",
                 {"order_id": "W1001", "reason": "ordered by mistake"})],
    "outputs": [],
}
```

检查方法：在数据副本上手动执行 `actions` 里的操作，查看结果。它必须正好是一位称职的客服处理完这个案例后应留下的状态。

## 第 3 步：比较 Agent 的哈希与答案的哈希

这是核心。τ-bench 的 `calculate_reward` 函数在干净的数据副本上重放正确操作，把得到的哈希与 Agent 最终的哈希比较，不一致就记 0 分。

参考实现还会检查 `task.outputs`：如果任务要求 Agent 说出某个特定字符串，就在忽略大小写、去掉逗号后进行比对，没说到就丢分。

```python
def reward(initial, agent_data, task, agent_replies):
    gt = copy.deepcopy(initial)
    for name, args in task["actions"]:
        TOOLS[name](gt, **args)
    if data_hash(agent_data) != data_hash(gt):
        return 0.0
    said = " ".join(agent_replies).lower().replace(",", "")
    for out in task["outputs"]:
        if out.lower().replace(",", "") not in said:
            return 0.0
    return 1.0
```

现在设想一个案例。Agent 取消了正确的订单 W1001，但把原因记成了“不再需要”（no longer needed），而客户明明说的是误下单。对话记录依然通顺，客户也照样道谢，但 `cancel_reason` 字段不同，哈希对不上，这次运行记 0 分。人工评审快速浏览对话记录时，很容易漏掉这种错误。

**要点:** Agent 说的话只是证词，数据库的状态才是证据。

## 第 4 步：多次运行，计算 pass^k

做对一次说明不了太多。Sierra 引入 pass^k 来检验一致性：在同一任务上，Agent 能否重复得出正确结果？

按 Anthropic 的解释，这是 k 次运行全部不失败的概率，因此 k 越大，数值越低。这也是它对直接面向客户的 Agent 格外重要的原因。

```python
def pass_hat_k(results):  # {task_id: [1.0, 0.0, ...]}，每个任务运行 k 次
    ok = [all(r == 1.0 for r in runs) for runs in results.values()]
    return sum(ok) / len(ok)
```

这个函数做了简化：每个任务正好运行 k 次，只有 k 次全部成功才算通过。如果想把自己的数字与 τ-bench 论文中的数字对比，请先看论文的计算方式。

算一笔账：如果 Agent 每次运行的成功率是 60%，且各次运行相互独立，那么 8 次全部成功的概率是 0.6 的 8 次方，约 1.7%。

60% 的平均值看起来还过得去，但客户实际感受到的更接近 1.7%。

τ-bench 的实际结果也指向同一方向。即便是最好的 GPT-4o Agent，在两个领域的平均成功率也不到一半；在零售领域，强函数调用 Agent 的 pass^8 低于 25%。Sierra 写道，所有受测 Agent 在一致性测试上的表现都非常差。

## 想运行原版怎么办？

`sierra-research/tau-bench` 仓库通过 CLI 运行，可以选择 Agent 策略、环境和模型：

```bash
python run.py --env retail --model gpt-4o --agent-strategy tool-calling
```

仓库也支持按 ID 运行单个任务，具体语法见 README。注意，仓库明确说明任务集已不再更新。用它来学习评分机制，不要把它当作衡量客户 Agent 的现行标尺。

## 让评分器骗过你的常见错误

**把随机字段算进哈希。** 如果时间戳、随机生成的 ID 或更新时间进入了哈希，做对了的 Agent 也可能得 0 分。求哈希前把这些字段剔除或归一化为固定值，并记录排除了哪些字段。

**正确操作有歧义。** 如果客户的请求有两种都符合策略的处理方式，精确的哈希比对会冤枉 Agent。改写指令，让正确的目标状态只剩一个。

**只读任务忘了 `outputs`。** 客户查询余额时，数据库不会变化，即使 Agent 报错了数字，哈希也会一致。这类任务要靠回复中必须出现的字符串来决定分数。

还有一个诱惑：回头翻对话记录，给 Agent“打个辛苦分”。Anthropic 建议对 Agent 的产出打分，而不是对它走的路径打分。对话记录用来在任务失败时查找原因，不用来评分。

## 这项技能在客户现场如何体现？

在真实部署中，“数据库”是客户 CRM、工单系统或预订系统的沙箱。难点不在代码，而在于和领域专家坐下来，为每个场景写出目标状态，包括策略禁止 Agent 行动的场景。

到现场后第一件事，是要一份可以重置的数据副本：不能重置就无法重跑，无法重跑就没有 pass^k。

在前线部署工程师（FDE）的简历或面试中，“搭建了按数据库状态给 Agent 打分的评测框架，在取自真实工单的任务上报告 pass^k”这样一句话，远比“有 LLM 经验”有分量。岗位描述里提到评测或可靠性时，准备好在面试中讲讲这样一个评分器的故事。

下次给客户做演示时，别只给他们看对话。给他们看两个一致的哈希，连续八次。

**本周动手试试:**

- 从客户系统或自己的项目中挑 5 个真实任务，为每个任务写出正确操作，用哈希而不是读日志来给 Agent 打分
- 每个任务运行 8 次，同时报告平均成功率和 pass^8，看看两个数字相差多远
- 克隆 sierra-research/tau-bench 仓库，用 retail 环境运行 run.py，并阅读 tau_bench/envs/base.py 中的 calculate_reward 函数

## 信源

- [τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains](https://arxiv.org/abs/2406.12045)

- [sierra-research/tau-bench (GitHub)](https://github.com/sierra-research/tau-bench)

- [τ-bench: Shaping the development and evaluation of agents (Sierra)](https://sierra.ai/blog/benchmarking-ai-agents)

- [tau_bench/envs/base.py (sierra-research/tau-bench)](https://github.com/sierra-research/tau-bench/blob/main/tau_bench/envs/base.py)

- [Demystifying evals for AI agents](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents)
