# 写邮件路由 Agent 之前，先建一个 40 封邮件的评测

> 一个团队标签枚举、一个 pytest 文件、40 封真实邮件，足以让你在面试官面前用数字讲清路由设计。

原文: https://fdetimes.net/zh/guides/email-router-40-sample-eval/

被要求设计一个把邮件分发给对应团队的系统时，很多候选人马上画出一个多步骤 Agent，带记忆、工具和自我纠错循环。更有说服力的答案恰恰相反：一个简单的分类器，加上一个能证明它有效的数字。

Anthropic 在《Building effective agents》一文中，把路由描述为对输入分类，并把它导向专门的下游任务。

同一篇文章建议，只有在能明确改善结果时才增加复杂度。所以本指南同时构建两样东西：一个路由器，以及衡量它的 40 条样本评测集。

对前线部署工程师（FDE）来说，这不只是面试练习。设想客户有一个共享邮箱，比如 support@ 或 contact@，所有团队的邮件都汇集在这里。如果你被要求把它自动化，在演示时拿出按团队拆分的成绩单的工程师，比只带来一个精致演示的工程师更容易赢得客户信任。

## 要构建什么，需要什么

最终会得到三个文件：`router.py` 调用模型并返回团队标签；`evals/routing.jsonl` 存放 40 封已标注的邮件；`evals/test_routing.py` 负责自动打分。你需要 Python、pytest，以及一个支持按 schema 约束输出的模型 API。

下面的模型调用是**简化版**。函数 `call_llm_structured` 只是占位符，请按照服务商文档，替换成真实的 Structured Outputs 调用。

## 第 1 步：团队标签是枚举，不是自由文本

最常见的错误是让模型回答类似“这封邮件大概属于财务团队”这样的话。下游代码还得从中提取标签，措辞上的每一点变化都会变成 bug。一开始就把标签列表固定下来：

```python
TEAMS = ["billing", "tech_support", "sales", "legal", "human_triage"]

ROUTE_SCHEMA = {
    "type": "object",
    "properties": {
        "team": {"type": "string", "enum": TEAMS},
        "reason": {"type": "string"},
    },
    "required": ["team", "reason"],
    "additionalProperties": False,
}
```

OpenAI 的文档明确区分了两种模式：JSON 模式不保证输出符合 schema，只有 Structured Outputs 才保证。文档还说，Structured Outputs 让你无需在模型返回格式错误时再做校验或重试。

`human_triage` 标签是你自己的设计选择，并非来自任何文档。它是模型拿不准时的出口，面试中被问到时最好准备好解释。

**检查：**打印 `ROUTE_SCHEMA` 并通读一遍。客户的每个团队都应该恰好对应一个标签，不能有两个标签含义相同。

## 第 2 步：提示词定义团队，代码处理拒绝

```python
SYSTEM_PROMPT = """你负责对发送到共享邮箱的邮件进行分类。
billing：发票、付款、退款。
tech_support：产品 bug、登录、集成。
sales：报价、升级、试用。
legal：合同、个人数据、法律投诉。
human_triage：不属于任何团队，或同等程度地属于多个团队。"""

def route(email_text: str) -> dict:
    # 简化版：请替换为真实的 Structured Outputs 调用
    resp = call_llm_structured(SYSTEM_PROMPT, email_text, ROUTE_SCHEMA)
    if resp.refusal:
        return {"team": "human_triage", "reason": "模型拒绝回答"}
    return resp.parsed
```

OpenAI 表示，使用 Structured Outputs 时，模型出于安全原因的拒绝可以通过程序检测出来。路由器不应让这些邮件凭空消失，转交给人处理是最稳妥的做法。

把团队定义写在提示词里，在真实客户项目中很有好处。Anthropic 的工单路由指南指出，当类别定义变化或新增类别时，模型可以随之调整，无需大量重新标注训练数据。

当客户调整组织、把销售和财务合并时，你只需改几行提示词，再重跑评测。

## 第 3 步：40 条样本要像真实的收件箱

Anthropic 的评测文档要求评测反映任务的真实分布，并且不要遗漏边界情况。

它的工单路由指南认为，几十个已标注示例就足以让模型分类良好。这指的是提供给模型的数据，而不是评测集的规模。这里取 40 条是务实的选择：足以看出每个团队内反复出现的错误，又少到一个下午就能自己标完。

以一家假想的 SaaS 公司的收件箱为例。一种合理的划分（仅供参考）是：30 封典型邮件按真实比例分配到各团队，6 封模糊邮件，4 封垃圾邮件或无关邮件。

Anthropic 把连人类都难以达成一致的模糊案例也算作边界情况。例如一封邮件说“本月发票有误，因为报表导出功能坏了”，这既是账单问题，也是技术问题。

```json
{"id": "e07", "email": "10 月的发票重复扣了我们两次款……", "expected": "billing", "tag": "typical"}
{"id": "e33", "email": "发票有误，因为导出功能坏了……", "expected": "human_triage", "tag": "ambiguous"}
```

对模糊案例，正确标签不会自己浮现。你得和客户商定一条规则：转交人工，还是发给主要负责的团队。把这条规则写进提示词，否则评测会因为一个没人做过的决定去惩罚模型。

## 第 4 步：用断言打分，按团队看分数

Hamel Husain 在《Your AI Product Needs Evals》中，把第一层评测称为 LLM 的单元测试：也就是你平时在 pytest 里写的那类断言。对路由器而言，断言只是预测标签与期望标签之间的字符串匹配。

```python
import json
import pytest
from router import route

CASES = [json.loads(line) for line in open("evals/routing.jsonl")]

@pytest.mark.parametrize("case", CASES, ids=lambda c: c["id"])
def test_route(case):
    assert route(case["email"])["team"] == case["expected"]
```

```bash
pytest evals/test_routing.py -q
```

Anthropic 还建议，宁可用大量自动评分的题目（即使信号稍弱），也不要只用少量人工评分的题目。所以第一轮不要用逐条人工阅读来替代断言。

现在用示意数字算一笔账。40 条样本按第 3 步划分，6 个模糊案例和 4 封垃圾邮件都期望发往 `human_triage`。路由器通过了 40 条中的 36 条，即 90%。听起来不错，直到你按团队拆开分数：

| 团队（示意） | 样本数 | 正确数 | 正确率 |
|---|---|---|---|
| billing | 10 | 10 | 10/10 |
| tech_support | 9 | 9 | 9/9 |
| sales | 6 | 6 | 6/6 |
| legal | 5 | 1 | 1/5 |
| human_triage | 10 | 10 | 10/10 |
| **合计** | **40** | **36** | **90%** |

四个失败全部落在 legal。路由器漏掉了 5 封法务邮件中的 4 封，而这恰恰是送达延迟时代价最高的一类。

**要点:** 路由器的平均分，可能掩盖了客户最怕漏掉的那个团队。

**检查：**按 `expected` 和 `tag` 对结果分组。如果 `ambiguous` 案例频繁失败，而 `typical` 案例几乎全对，就去修改提示词中的规则，架构可以保持不变。

## 什么时候增加复杂度

答案就在成绩单里。按上表，首要任务是精准修复路由器出错的地方：把提示词中 legal 的定义写得更清楚，例如列出常被分错的法务邮件类型，然后重跑全部 40 条样本。

如果 legal 的分数没有提升，这个改动就不值得保留，无论它看起来多么合理。这种纪律值得在面试中明明白白地展示出来。

团队专用提示词是之后的另一步。Anthropic 解释了路由为什么有用：没有分开的路径，针对某一类输入的优化可能损害其他输入上的表现。

所以，当你希望系统做更多事，比如为 billing 起草回复时，应把那个提示词放在路由器之后，而不是往分类提示词里堆更多规则。

起草提示词并不会让路由器选团队更准，所以它需要自己的评测，不能依赖这 40 条样本的分数。

Husain 提醒，进入生产环境后，你永远不能停止查看数据。接收团队报告的每一封分错的邮件，都应该成为 `routing.jsonl` 里的新一行。40 条样本的集合会增长到 60 条，再到 100 条。

## 把这项能力带进面试和简历

在系统设计面试中，先用第一分钟讲清楚你如何衡量：标签枚举、human_triage 兜底、包含模糊案例的评测，以及按团队的分数。然后再画框和箭头。如果被问到“公司重组团队怎么办？”，答案是现成的：修改提示词里的定义，重跑评测。

在简历上，像“构建了 5 个标签的邮件路由器及 40 条样本评测集，将 legal 召回率从 1/5 提升到 5/5”这样的一行，远比“有 LLM Agent 经验”更有说服力。这个例子里的数字是示意，但请保留这种结构：它表明你懂得先用数字证明，再要求更多复杂度。

**本周动手试试:**

- 从一个共享邮箱取 40 封真实邮件（去除个人信息），为每封标注团队，并标出模糊案例
- 用 pytest.mark.parametrize 编写 test_routing.py 文件，运行后记录每个团队的得分
- 练习在 5 分钟内把这个设计作为系统设计答案讲出来，开头先讲如何衡量结果

## 信源

- [Building effective agents (Anthropic Engineering)](https://www.anthropic.com/engineering/building-effective-agents)

- [Ticket routing (Claude Docs)](https://platform.claude.com/docs/en/about-claude/use-case-guides/ticket-routing)

- [Create strong empirical evaluations (Claude Docs)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)

- [Structured Outputs (OpenAI API docs)](https://developers.openai.com/docs/guides/structured-outputs)

- [Your AI Product Needs Evals (Hamel Husain)](https://hamel.dev/blog/posts/evals/)
