像测试自动驾驶那样测试语音 Agent
Coval 由前 Waymo 技术负责人创办,先跑数千通带噪声的模拟通话,再用人工对失败通话的复核重新训练 AI 评审。
要点速览
- Coval 将自己定位为帮助语音 Agent 做好上线准备的平台,方法是运行数千段带背景噪声、不同声音和边界情况的对话
- 工作流是“模拟、观察、复核”的循环:上线前测试,对真实通话运行评测,并由人工校准 AI 评判
- FDE 的职责是根据在客户现场了解到的情况编写场景和指标,工具只负责大规模运行
TechCrunch 曾把 Coval 评测语音和聊天 Agent 的方法,比作自动驾驶汽车的测试方式。这个比喻有其依据:创始人 Brooke Hopkins 曾任 Waymo 技术负责人,Coval 的构想成形于 Y Combinator 2024 年夏季批次。
对前线部署工程师(FDE)来说,这个思路回答的是上线前最难的问题。问题不在于 Agent 能不能用,而在于它能应付多少类来电者才会出错。
自己团队打的五通演示电话回答不了这个问题。这正是 Coval 瞄准的缺口,也是跳过之后最容易在客户那里失去信任的地方。
Coval 到底做什么?
官方文档把 Coval 定位为帮助语音 AI Agent 为真实场景做好准备的平台。上线前,它会运行数千段模拟对话,加入背景噪声、多种声音和边界情况。据 TechCrunch 报道,这些模拟可以并行运行。
每段对话都按一组通用指标打分。你可以添加自己的标准并运行回归检查,即每次改动后重跑同一组场景,看是否有地方变差。
Coval 首页把工作流描述为三步循环:模拟(Simulate)、观察(Observe)、复核(Review),既用于上线前测试,也用于对生产环境的真实通话运行评测。
复核这一步最值得注意。未通过的对话会交给人工复核;据文档介绍,人工反馈会用来重新训练 AI 评判,让指标更准确。
Coval 还与 Langfuse 原生集成,已经用 Langfuse 做链路追踪的团队,可以对语音 Agent 的整段对话运行端到端模拟测试。
实例:牙科预约 Agent
假设你要为一家连锁牙科诊所部署一个预约语音 Agent。通过客户调研,你了解到最让前台头疼的四类来电者:在嘈杂环境中打电话的人、地方口音很重的人、通话中途改预约时间的人,以及询问保险能报销多少的人——这个问题 Agent 不能自行回答。
每种情况你做 50 个变体,共 200 段对话。你用平实的句子写下三条标准:Agent 必须预约正确的日期和时间;问题超出范围时必须转接人工;不得编造保险金额。
假设结果是 170 通过、30 未通过,其中 22 个失败落在噪声组。这个数字说明问题出在语音识别,而不是提示词。此时改写提示词只会浪费时间,什么也修不好。
你把 30 通失败通话交给诊所的一位员工回听。假设对方发现有 5 通是评判误判的,因为 Agent 其实在正确的时机转接了。现在你可以同时修正 Agent 和评分。交付前,再把这 200 个场景原样重跑一遍回归。
要向客户讲清楚的局限
模拟的质量取决于你写的场景。如果调研时漏掉了念保险卡号的来电者,跑再多模拟通话也抓不到这个 bug。所以对生产环境的真实通话运行评测不能省。
AI 评判也会出错。Coval 把人放进复核环节,本身就说明工具厂商并不把自动评分当作最终结论。因此向客户汇报时,要说明人工检查了多少通电话,而不是只给一个通过率。
最后,文档和首页目前以语音为主。聊天只在 TechCrunch 的文章和 Y Combinator 的介绍中提到。如果客户主要需要聊天 Agent,承诺之前要仔细核实实际功能。首页上的客户 logo 列表,包括 Chime、Perplexity、ServiceNow、StubHub、Zoom、Toast 和 Upstart,属于厂商自己的背书。
上手工具之前该学什么
首先要学的不是 Coval 的界面,而是把客户笔记转化为场景和可测试标准的能力。这项能力适用于任何评测工具,也是 FDE 与只会调 API 的人之间的区别。
其次是回归习惯:每次改提示词、换模型或换语音转文字服务商,都重跑同一组场景。与之配套的是可观测性,也就是能读懂一段对话的链路追踪,判断问题出在语音识别、逻辑还是工具调用。
看岗位描述时,留意“evals”“voice agents”“simulation”等关键词。简历上要用数字:你构建了多少场景,这组场景在客户遇到之前抓到了哪些回归问题。这样的数字能让看简历的人看到你做过的工作;“熟悉 LLM”这样的一句话只是自我声明。
Coval 能跑数千段对话,但只有在诊所前台身边坐过的人,才知道哪些对话值得跑。
这篇文章对你有帮助吗?
感谢你的反馈!