FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

写邮件路由 Agent 之前,先建一个 40 封邮件的评测

一个团队标签枚举、一个 pytest 文件、40 封真实邮件,足以让你在面试官面前用数字讲清路由设计。

分享微博

要点速览

  • 路由就是先分类、再转发。从简单的分类器起步,而不是多步骤 Agent。
  • 用 Structured Outputs 把标签限定在枚举内,把模型拒绝回答当作转交人工的信号。
  • 40 条样本要符合真实邮件分布,并包含模糊案例。用字符串匹配打分,再分别查看每个团队的得分。
横向条形图:在一个假设的 40 条样本评测集中,路由器分到正确团队的邮件数。billing 10/10,tech_support 9/9,sales 6/6,human_triage 10/10。只有 legal 低至 1/5,以橙色突出显示。4 个错误全部出在 legal。
36/40(90%)的总分掩盖了路由器漏掉 5 封法务邮件中 4 封的事实。来源:基于文中假设数字的示意计算。

被要求设计一个把邮件分发给对应团队的系统时,很多候选人马上画出一个多步骤 Agent,带记忆、工具和自我纠错循环。更有说服力的答案恰恰相反:一个简单的分类器,加上一个能证明它有效的数字。

Anthropic 在《Building effective agents》一文中,把路由描述为对输入分类,并把它导向专门的下游任务。

同一篇文章建议,只有在能明确改善结果时才增加复杂度。所以本指南同时构建两样东西:一个路由器,以及衡量它的 40 条样本评测集。

对前线部署工程师(FDE)来说,这不只是面试练习。设想客户有一个共享邮箱,比如 support@ 或 contact@,所有团队的邮件都汇集在这里。如果你被要求把它自动化,在演示时拿出按团队拆分的成绩单的工程师,比只带来一个精致演示的工程师更容易赢得客户信任。

要构建什么,需要什么

最终会得到三个文件:router.py 调用模型并返回团队标签;evals/routing.jsonl 存放 40 封已标注的邮件;evals/test_routing.py 负责自动打分。你需要 Python、pytest,以及一个支持按 schema 约束输出的模型 API。

下面的模型调用是简化版。函数 call_llm_structured 只是占位符,请按照服务商文档,替换成真实的 Structured Outputs 调用。

第 1 步:团队标签是枚举,不是自由文本

最常见的错误是让模型回答类似“这封邮件大概属于财务团队”这样的话。下游代码还得从中提取标签,措辞上的每一点变化都会变成 bug。一开始就把标签列表固定下来:

TEAMS = ["billing", "tech_support", "sales", "legal", "human_triage"]

ROUTE_SCHEMA = {
    "type": "object",
    "properties": {
        "team": {"type": "string", "enum": TEAMS},
        "reason": {"type": "string"},
    },
    "required": ["team", "reason"],
    "additionalProperties": False,
}

OpenAI 的文档明确区分了两种模式:JSON 模式不保证输出符合 schema,只有 Structured Outputs 才保证。文档还说,Structured Outputs 让你无需在模型返回格式错误时再做校验或重试。

human_triage 标签是你自己的设计选择,并非来自任何文档。它是模型拿不准时的出口,面试中被问到时最好准备好解释。

**检查:**打印 ROUTE_SCHEMA 并通读一遍。客户的每个团队都应该恰好对应一个标签,不能有两个标签含义相同。

第 2 步:提示词定义团队,代码处理拒绝

SYSTEM_PROMPT = """你负责对发送到共享邮箱的邮件进行分类。
billing:发票、付款、退款。
tech_support:产品 bug、登录、集成。
sales:报价、升级、试用。
legal:合同、个人数据、法律投诉。
human_triage:不属于任何团队,或同等程度地属于多个团队。"""

def route(email_text: str) -> dict:
    # 简化版:请替换为真实的 Structured Outputs 调用
    resp = call_llm_structured(SYSTEM_PROMPT, email_text, ROUTE_SCHEMA)
    if resp.refusal:
        return {"team": "human_triage", "reason": "模型拒绝回答"}
    return resp.parsed

OpenAI 表示,使用 Structured Outputs 时,模型出于安全原因的拒绝可以通过程序检测出来。路由器不应让这些邮件凭空消失,转交给人处理是最稳妥的做法。

把团队定义写在提示词里,在真实客户项目中很有好处。Anthropic 的工单路由指南指出,当类别定义变化或新增类别时,模型可以随之调整,无需大量重新标注训练数据。

当客户调整组织、把销售和财务合并时,你只需改几行提示词,再重跑评测。

第 3 步:40 条样本要像真实的收件箱

Anthropic 的评测文档要求评测反映任务的真实分布,并且不要遗漏边界情况。

它的工单路由指南认为,几十个已标注示例就足以让模型分类良好。这指的是提供给模型的数据,而不是评测集的规模。这里取 40 条是务实的选择:足以看出每个团队内反复出现的错误,又少到一个下午就能自己标完。

以一家假想的 SaaS 公司的收件箱为例。一种合理的划分(仅供参考)是:30 封典型邮件按真实比例分配到各团队,6 封模糊邮件,4 封垃圾邮件或无关邮件。

Anthropic 把连人类都难以达成一致的模糊案例也算作边界情况。例如一封邮件说“本月发票有误,因为报表导出功能坏了”,这既是账单问题,也是技术问题。

{"id": "e07", "email": "10 月的发票重复扣了我们两次款……", "expected": "billing", "tag": "typical"}
{"id": "e33", "email": "发票有误,因为导出功能坏了……", "expected": "human_triage", "tag": "ambiguous"}

对模糊案例,正确标签不会自己浮现。你得和客户商定一条规则:转交人工,还是发给主要负责的团队。把这条规则写进提示词,否则评测会因为一个没人做过的决定去惩罚模型。

第 4 步:用断言打分,按团队看分数

Hamel Husain 在《Your AI Product Needs Evals》中,把第一层评测称为 LLM 的单元测试:也就是你平时在 pytest 里写的那类断言。对路由器而言,断言只是预测标签与期望标签之间的字符串匹配。

import json
import pytest
from router import route

CASES = [json.loads(line) for line in open("evals/routing.jsonl")]

@pytest.mark.parametrize("case", CASES, ids=lambda c: c["id"])
def test_route(case):
    assert route(case["email"])["team"] == case["expected"]
pytest evals/test_routing.py -q

Anthropic 还建议,宁可用大量自动评分的题目(即使信号稍弱),也不要只用少量人工评分的题目。所以第一轮不要用逐条人工阅读来替代断言。

现在用示意数字算一笔账。40 条样本按第 3 步划分,6 个模糊案例和 4 封垃圾邮件都期望发往 human_triage。路由器通过了 40 条中的 36 条,即 90%。听起来不错,直到你按团队拆开分数:

团队(示意) 样本数 正确数 正确率
billing 10 10 10/10
tech_support 9 9 9/9
sales 6 6 6/6
legal 5 1 1/5
human_triage 10 10 10/10
合计 40 36 90%

四个失败全部落在 legal。路由器漏掉了 5 封法务邮件中的 4 封,而这恰恰是送达延迟时代价最高的一类。

**检查:**按 expected 和 tag 对结果分组。如果 ambiguous 案例频繁失败,而 typical 案例几乎全对,就去修改提示词中的规则,架构可以保持不变。

什么时候增加复杂度

答案就在成绩单里。按上表,首要任务是精准修复路由器出错的地方:把提示词中 legal 的定义写得更清楚,例如列出常被分错的法务邮件类型,然后重跑全部 40 条样本。

如果 legal 的分数没有提升,这个改动就不值得保留,无论它看起来多么合理。这种纪律值得在面试中明明白白地展示出来。

团队专用提示词是之后的另一步。Anthropic 解释了路由为什么有用:没有分开的路径,针对某一类输入的优化可能损害其他输入上的表现。

所以,当你希望系统做更多事,比如为 billing 起草回复时,应把那个提示词放在路由器之后,而不是往分类提示词里堆更多规则。

起草提示词并不会让路由器选团队更准,所以它需要自己的评测,不能依赖这 40 条样本的分数。

Husain 提醒,进入生产环境后,你永远不能停止查看数据。接收团队报告的每一封分错的邮件,都应该成为 routing.jsonl 里的新一行。40 条样本的集合会增长到 60 条,再到 100 条。

把这项能力带进面试和简历

在系统设计面试中,先用第一分钟讲清楚你如何衡量:标签枚举、human_triage 兜底、包含模糊案例的评测,以及按团队的分数。然后再画框和箭头。如果被问到“公司重组团队怎么办?”,答案是现成的:修改提示词里的定义,重跑评测。

在简历上,像“构建了 5 个标签的邮件路由器及 40 条样本评测集,将 legal 召回率从 1/5 提升到 5/5”这样的一行,远比“有 LLM Agent 经验”更有说服力。这个例子里的数字是示意,但请保留这种结构:它表明你懂得先用数字证明,再要求更多复杂度。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 6: 价值度量PSI 到了 0.23,并不等于该重训模型该不该重训,要看新标签上的表现和按客户历史校准的阈值,否则可能为一个运行正常的模型白耗一个冲刺。