# 像测试自动驾驶那样测试语音 Agent

> Coval 由前 Waymo 技术负责人创办，先跑数千通带噪声的模拟通话，再用人工对失败通话的复核重新训练 AI 评审。

原文: https://fdetimes.net/zh/tools/coval-voice-agent-simulation-testing/

TechCrunch 曾把 Coval 评测语音和聊天 Agent 的方法，比作自动驾驶汽车的测试方式。这个比喻有其依据：创始人 Brooke Hopkins 曾任 Waymo 技术负责人，Coval 的构想成形于 Y Combinator 2024 年夏季批次。

对前线部署工程师（FDE）来说，这个思路回答的是上线前最难的问题。问题不在于 Agent 能不能用，而在于它能应付多少类来电者才会出错。

自己团队打的五通演示电话回答不了这个问题。这正是 Coval 瞄准的缺口，也是跳过之后最容易在客户那里失去信任的地方。

## Coval 到底做什么？

官方文档把 Coval 定位为帮助语音 AI Agent 为真实场景做好准备的平台。上线前，它会运行数千段模拟对话，加入背景噪声、多种声音和边界情况。据 TechCrunch 报道，这些模拟可以并行运行。

每段对话都按一组通用指标打分。你可以添加自己的标准并运行回归检查，即每次改动后重跑同一组场景，看是否有地方变差。

Coval 首页把工作流描述为三步循环：模拟（Simulate）、观察（Observe）、复核（Review），既用于上线前测试，也用于对生产环境的真实通话运行评测。

复核这一步最值得注意。未通过的对话会交给人工复核；据文档介绍，人工反馈会用来重新训练 AI 评判，让指标更准确。

Coval 还与 Langfuse 原生集成，已经用 Langfuse 做链路追踪的团队，可以对语音 Agent 的整段对话运行端到端模拟测试。

## 实例：牙科预约 Agent

假设你要为一家连锁牙科诊所部署一个预约语音 Agent。通过客户调研，你了解到最让前台头疼的四类来电者：在嘈杂环境中打电话的人、地方口音很重的人、通话中途改预约时间的人，以及询问保险能报销多少的人——这个问题 Agent 不能自行回答。

每种情况你做 50 个变体，共 200 段对话。你用平实的句子写下三条标准：Agent 必须预约正确的日期和时间；问题超出范围时必须转接人工；不得编造保险金额。

假设结果是 170 通过、30 未通过，其中 22 个失败落在噪声组。这个数字说明问题出在语音识别，而不是提示词。此时改写提示词只会浪费时间，什么也修不好。

你把 30 通失败通话交给诊所的一位员工回听。假设对方发现有 5 通是评判误判的，因为 Agent 其实在正确的时机转接了。现在你可以同时修正 Agent 和评分。交付前，再把这 200 个场景原样重跑一遍回归。

**要点:** 凡是没在模拟中出现过的难缠来电者，Agent 都会在生产环境中遇到。

## 要向客户讲清楚的局限

模拟的质量取决于你写的场景。如果调研时漏掉了念保险卡号的来电者，跑再多模拟通话也抓不到这个 bug。所以对生产环境的真实通话运行评测不能省。

AI 评判也会出错。Coval 把人放进复核环节，本身就说明工具厂商并不把自动评分当作最终结论。因此向客户汇报时，要说明人工检查了多少通电话，而不是只给一个通过率。

最后，文档和首页目前以语音为主。聊天只在 TechCrunch 的文章和 Y Combinator 的介绍中提到。如果客户主要需要聊天 Agent，承诺之前要仔细核实实际功能。首页上的客户 logo 列表，包括 Chime、Perplexity、ServiceNow、StubHub、Zoom、Toast 和 Upstart，属于厂商自己的背书。

## 上手工具之前该学什么

首先要学的不是 Coval 的界面，而是把客户笔记转化为场景和可测试标准的能力。这项能力适用于任何评测工具，也是 FDE 与只会调 API 的人之间的区别。

其次是回归习惯：每次改提示词、换模型或换语音转文字服务商，都重跑同一组场景。与之配套的是可观测性，也就是能读懂一段对话的链路追踪，判断问题出在语音识别、逻辑还是工具调用。

看岗位描述时，留意“evals”“voice agents”“simulation”等关键词。简历上要用数字：你构建了多少场景，这组场景在客户遇到之前抓到了哪些回归问题。这样的数字能让看简历的人看到你做过的工作；“熟悉 LLM”这样的一句话只是自我声明。

Coval 能跑数千段对话，但只有在诊所前台身边坐过的人，才知道哪些对话值得跑。

**本周动手试试:**

- 拿一个你正在做的 Agent，根据调研笔记写出 4 组难缠来电者场景，每组配一条用句子写成的通过/不通过标准
- 阅读 docs.coval.ai，把默认指标与你的 4 条标准对照，看哪些需要自己定义
- 挑 20 段未通过的对话，人工重新打分，再与自动评判的分数对比

## 信源

- [Coval Docs](https://docs.coval.ai/)

- [Coval](https://www.coval.ai/)

- [Coval evaluates AI voice and chat agents like self-driving cars](https://techcrunch.com/2025/01/23/coval-evaluates-ai-voice-and-chat-agents-like-self-driving-cars)

- [Coval | Y Combinator](https://www.ycombinator.com/companies/coval)

- [A Guide to Evaluating Voice AI Agents](https://langfuse.com/blog/2025-01-22-evaluating-voice-ai-agents)
