FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

工具

像测试自动驾驶那样测试语音 Agent

Coval 由前 Waymo 技术负责人创办,先跑数千通带噪声的模拟通话,再用人工对失败通话的复核重新训练 AI 评审。

分享微博

要点速览

  • Coval 将自己定位为帮助语音 Agent 做好上线准备的平台,方法是运行数千段带背景噪声、不同声音和边界情况的对话
  • 工作流是“模拟、观察、复核”的循环:上线前测试,对真实通话运行评测,并由人工校准 AI 评判
  • FDE 的职责是根据在客户现场了解到的情况编写场景和指标,工具只负责大规模运行
堆叠条形图展示 200 通假设的模拟通话:170 通过、30 未通过。未通过部分放大为第二根条形,其中 22 通属于噪声组(橙色),其余属于其他组。要点:语音识别环节需要修正。
在牙科预约 Agent 的假设示例中,大多数失败通话来自身处嘈杂环境的来电者,因此问题出在语音识别,而不是提示词。来源:文中的示意示例,并非实测数据。

TechCrunch 曾把 Coval 评测语音和聊天 Agent 的方法,比作自动驾驶汽车的测试方式。这个比喻有其依据:创始人 Brooke Hopkins 曾任 Waymo 技术负责人,Coval 的构想成形于 Y Combinator 2024 年夏季批次。

对前线部署工程师(FDE)来说,这个思路回答的是上线前最难的问题。问题不在于 Agent 能不能用,而在于它能应付多少类来电者才会出错。

自己团队打的五通演示电话回答不了这个问题。这正是 Coval 瞄准的缺口,也是跳过之后最容易在客户那里失去信任的地方。

Coval 到底做什么?

官方文档把 Coval 定位为帮助语音 AI Agent 为真实场景做好准备的平台。上线前,它会运行数千段模拟对话,加入背景噪声、多种声音和边界情况。据 TechCrunch 报道,这些模拟可以并行运行。

每段对话都按一组通用指标打分。你可以添加自己的标准并运行回归检查,即每次改动后重跑同一组场景,看是否有地方变差。

Coval 首页把工作流描述为三步循环:模拟(Simulate)、观察(Observe)、复核(Review),既用于上线前测试,也用于对生产环境的真实通话运行评测。

复核这一步最值得注意。未通过的对话会交给人工复核;据文档介绍,人工反馈会用来重新训练 AI 评判,让指标更准确。

Coval 还与 Langfuse 原生集成,已经用 Langfuse 做链路追踪的团队,可以对语音 Agent 的整段对话运行端到端模拟测试。

实例:牙科预约 Agent

假设你要为一家连锁牙科诊所部署一个预约语音 Agent。通过客户调研,你了解到最让前台头疼的四类来电者:在嘈杂环境中打电话的人、地方口音很重的人、通话中途改预约时间的人,以及询问保险能报销多少的人——这个问题 Agent 不能自行回答。

每种情况你做 50 个变体,共 200 段对话。你用平实的句子写下三条标准:Agent 必须预约正确的日期和时间;问题超出范围时必须转接人工;不得编造保险金额。

假设结果是 170 通过、30 未通过,其中 22 个失败落在噪声组。这个数字说明问题出在语音识别,而不是提示词。此时改写提示词只会浪费时间,什么也修不好。

你把 30 通失败通话交给诊所的一位员工回听。假设对方发现有 5 通是评判误判的,因为 Agent 其实在正确的时机转接了。现在你可以同时修正 Agent 和评分。交付前,再把这 200 个场景原样重跑一遍回归。

要向客户讲清楚的局限

模拟的质量取决于你写的场景。如果调研时漏掉了念保险卡号的来电者,跑再多模拟通话也抓不到这个 bug。所以对生产环境的真实通话运行评测不能省。

AI 评判也会出错。Coval 把人放进复核环节,本身就说明工具厂商并不把自动评分当作最终结论。因此向客户汇报时,要说明人工检查了多少通电话,而不是只给一个通过率。

最后,文档和首页目前以语音为主。聊天只在 TechCrunch 的文章和 Y Combinator 的介绍中提到。如果客户主要需要聊天 Agent,承诺之前要仔细核实实际功能。首页上的客户 logo 列表,包括 Chime、Perplexity、ServiceNow、StubHub、Zoom、Toast 和 Upstart,属于厂商自己的背书。

上手工具之前该学什么

首先要学的不是 Coval 的界面,而是把客户笔记转化为场景和可测试标准的能力。这项能力适用于任何评测工具,也是 FDE 与只会调 API 的人之间的区别。

其次是回归习惯:每次改提示词、换模型或换语音转文字服务商,都重跑同一组场景。与之配套的是可观测性,也就是能读懂一段对话的链路追踪,判断问题出在语音识别、逻辑还是工具调用。

看岗位描述时,留意“evals”“voice agents”“simulation”等关键词。简历上要用数字:你构建了多少场景,这组场景在客户遇到之前抓到了哪些回归问题。这样的数字能让看简历的人看到你做过的工作;“熟悉 LLM”这样的一句话只是自我声明。

Coval 能跑数千段对话,但只有在诊所前台身边坐过的人,才知道哪些对话值得跑。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 6: 价值度量用 NVIDIA garak 赶在客户发问前做安全扫描两条命令就能拿到 PASS/FAIL 报告,难点在扫描客户自己的聊天机器人,并说清结果能证明多少。