写邮件路由 Agent 之前,先建一个 40 封邮件的评测
一个团队标签枚举、一个 pytest 文件、40 封真实邮件,足以让你在面试官面前用数字讲清路由设计。
要点速览
- 路由就是先分类、再转发。从简单的分类器起步,而不是多步骤 Agent。
- 用 Structured Outputs 把标签限定在枚举内,把模型拒绝回答当作转交人工的信号。
- 40 条样本要符合真实邮件分布,并包含模糊案例。用字符串匹配打分,再分别查看每个团队的得分。
被要求设计一个把邮件分发给对应团队的系统时,很多候选人马上画出一个多步骤 Agent,带记忆、工具和自我纠错循环。更有说服力的答案恰恰相反:一个简单的分类器,加上一个能证明它有效的数字。
Anthropic 在《Building effective agents》一文中,把路由描述为对输入分类,并把它导向专门的下游任务。
同一篇文章建议,只有在能明确改善结果时才增加复杂度。所以本指南同时构建两样东西:一个路由器,以及衡量它的 40 条样本评测集。
对前线部署工程师(FDE)来说,这不只是面试练习。设想客户有一个共享邮箱,比如 support@ 或 contact@,所有团队的邮件都汇集在这里。如果你被要求把它自动化,在演示时拿出按团队拆分的成绩单的工程师,比只带来一个精致演示的工程师更容易赢得客户信任。
要构建什么,需要什么
最终会得到三个文件:router.py 调用模型并返回团队标签;evals/routing.jsonl 存放 40 封已标注的邮件;evals/test_routing.py 负责自动打分。你需要 Python、pytest,以及一个支持按 schema 约束输出的模型 API。
下面的模型调用是简化版。函数 call_llm_structured 只是占位符,请按照服务商文档,替换成真实的 Structured Outputs 调用。
第 1 步:团队标签是枚举,不是自由文本
最常见的错误是让模型回答类似“这封邮件大概属于财务团队”这样的话。下游代码还得从中提取标签,措辞上的每一点变化都会变成 bug。一开始就把标签列表固定下来:
TEAMS = ["billing", "tech_support", "sales", "legal", "human_triage"]
ROUTE_SCHEMA = {
"type": "object",
"properties": {
"team": {"type": "string", "enum": TEAMS},
"reason": {"type": "string"},
},
"required": ["team", "reason"],
"additionalProperties": False,
}
OpenAI 的文档明确区分了两种模式:JSON 模式不保证输出符合 schema,只有 Structured Outputs 才保证。文档还说,Structured Outputs 让你无需在模型返回格式错误时再做校验或重试。
human_triage 标签是你自己的设计选择,并非来自任何文档。它是模型拿不准时的出口,面试中被问到时最好准备好解释。
**检查:**打印 ROUTE_SCHEMA 并通读一遍。客户的每个团队都应该恰好对应一个标签,不能有两个标签含义相同。
第 2 步:提示词定义团队,代码处理拒绝
SYSTEM_PROMPT = """你负责对发送到共享邮箱的邮件进行分类。
billing:发票、付款、退款。
tech_support:产品 bug、登录、集成。
sales:报价、升级、试用。
legal:合同、个人数据、法律投诉。
human_triage:不属于任何团队,或同等程度地属于多个团队。"""
def route(email_text: str) -> dict:
# 简化版:请替换为真实的 Structured Outputs 调用
resp = call_llm_structured(SYSTEM_PROMPT, email_text, ROUTE_SCHEMA)
if resp.refusal:
return {"team": "human_triage", "reason": "模型拒绝回答"}
return resp.parsed
OpenAI 表示,使用 Structured Outputs 时,模型出于安全原因的拒绝可以通过程序检测出来。路由器不应让这些邮件凭空消失,转交给人处理是最稳妥的做法。
把团队定义写在提示词里,在真实客户项目中很有好处。Anthropic 的工单路由指南指出,当类别定义变化或新增类别时,模型可以随之调整,无需大量重新标注训练数据。
当客户调整组织、把销售和财务合并时,你只需改几行提示词,再重跑评测。
第 3 步:40 条样本要像真实的收件箱
Anthropic 的评测文档要求评测反映任务的真实分布,并且不要遗漏边界情况。
它的工单路由指南认为,几十个已标注示例就足以让模型分类良好。这指的是提供给模型的数据,而不是评测集的规模。这里取 40 条是务实的选择:足以看出每个团队内反复出现的错误,又少到一个下午就能自己标完。
以一家假想的 SaaS 公司的收件箱为例。一种合理的划分(仅供参考)是:30 封典型邮件按真实比例分配到各团队,6 封模糊邮件,4 封垃圾邮件或无关邮件。
Anthropic 把连人类都难以达成一致的模糊案例也算作边界情况。例如一封邮件说“本月发票有误,因为报表导出功能坏了”,这既是账单问题,也是技术问题。
{"id": "e07", "email": "10 月的发票重复扣了我们两次款……", "expected": "billing", "tag": "typical"}
{"id": "e33", "email": "发票有误,因为导出功能坏了……", "expected": "human_triage", "tag": "ambiguous"}
对模糊案例,正确标签不会自己浮现。你得和客户商定一条规则:转交人工,还是发给主要负责的团队。把这条规则写进提示词,否则评测会因为一个没人做过的决定去惩罚模型。
第 4 步:用断言打分,按团队看分数
Hamel Husain 在《Your AI Product Needs Evals》中,把第一层评测称为 LLM 的单元测试:也就是你平时在 pytest 里写的那类断言。对路由器而言,断言只是预测标签与期望标签之间的字符串匹配。
import json
import pytest
from router import route
CASES = [json.loads(line) for line in open("evals/routing.jsonl")]
@pytest.mark.parametrize("case", CASES, ids=lambda c: c["id"])
def test_route(case):
assert route(case["email"])["team"] == case["expected"]
pytest evals/test_routing.py -q
Anthropic 还建议,宁可用大量自动评分的题目(即使信号稍弱),也不要只用少量人工评分的题目。所以第一轮不要用逐条人工阅读来替代断言。
现在用示意数字算一笔账。40 条样本按第 3 步划分,6 个模糊案例和 4 封垃圾邮件都期望发往 human_triage。路由器通过了 40 条中的 36 条,即 90%。听起来不错,直到你按团队拆开分数:
| 团队(示意) | 样本数 | 正确数 | 正确率 |
|---|---|---|---|
| billing | 10 | 10 | 10/10 |
| tech_support | 9 | 9 | 9/9 |
| sales | 6 | 6 | 6/6 |
| legal | 5 | 1 | 1/5 |
| human_triage | 10 | 10 | 10/10 |
| 合计 | 40 | 36 | 90% |
四个失败全部落在 legal。路由器漏掉了 5 封法务邮件中的 4 封,而这恰恰是送达延迟时代价最高的一类。
**检查:**按 expected 和 tag 对结果分组。如果 ambiguous 案例频繁失败,而 typical 案例几乎全对,就去修改提示词中的规则,架构可以保持不变。
什么时候增加复杂度
答案就在成绩单里。按上表,首要任务是精准修复路由器出错的地方:把提示词中 legal 的定义写得更清楚,例如列出常被分错的法务邮件类型,然后重跑全部 40 条样本。
如果 legal 的分数没有提升,这个改动就不值得保留,无论它看起来多么合理。这种纪律值得在面试中明明白白地展示出来。
团队专用提示词是之后的另一步。Anthropic 解释了路由为什么有用:没有分开的路径,针对某一类输入的优化可能损害其他输入上的表现。
所以,当你希望系统做更多事,比如为 billing 起草回复时,应把那个提示词放在路由器之后,而不是往分类提示词里堆更多规则。
起草提示词并不会让路由器选团队更准,所以它需要自己的评测,不能依赖这 40 条样本的分数。
Husain 提醒,进入生产环境后,你永远不能停止查看数据。接收团队报告的每一封分错的邮件,都应该成为 routing.jsonl 里的新一行。40 条样本的集合会增长到 60 条,再到 100 条。
把这项能力带进面试和简历
在系统设计面试中,先用第一分钟讲清楚你如何衡量:标签枚举、human_triage 兜底、包含模糊案例的评测,以及按团队的分数。然后再画框和箭头。如果被问到“公司重组团队怎么办?”,答案是现成的:修改提示词里的定义,重跑评测。
在简历上,像“构建了 5 个标签的邮件路由器及 40 条样本评测集,将 legal 召回率从 1/5 提升到 5/5”这样的一行,远比“有 LLM Agent 经验”更有说服力。这个例子里的数字是示意,但请保留这种结构:它表明你懂得先用数字证明,再要求更多复杂度。
这篇文章对你有帮助吗?
感谢你的反馈!