# Năm cuộc gọi demo không cho biết voice agent sẽ gãy ở đâu

> Coval, do một cựu tech lead của Waymo sáng lập, chạy hàng nghìn cuộc gọi mô phỏng có tiếng ồn và nhiều giọng nói, rồi chuyển cuộc lỗi cho người thật xem.

Bản gốc: https://fdetimes.net/vi/cong-cu/coval-mo-phong-va-danh-gia-voice-chat-agent-cho-khach/

TechCrunch từng ví cách Coval đánh giá voice agent và chat agent với cách người ta kiểm thử xe tự lái. Phép so sánh này có lý do: người sáng lập Brooke Hopkins là cựu tech lead ở Waymo, và ý tưởng về Coval hình thành trong đợt Y Combinator mùa hè 2024.

Với một FDE, ý tưởng đó trả lời đúng câu hỏi khó nhất trước ngày go-live. Câu hỏi không phải là agent có chạy hay không. Câu hỏi là agent chịu được bao nhiêu kiểu người gọi trước khi gãy.

Một buổi demo với năm cuộc gọi do chính đội bạn thực hiện không trả lời được câu đó. Đây là khoảng trống mà Coval nhắm tới, và cũng là chỗ bạn sẽ mất uy tín với khách nếu bỏ qua.

## Coval thực sự làm gì?

Tài liệu chính thức giới thiệu Coval là nền tảng giúp voice AI agent sẵn sàng đưa ra dùng thật. Công cụ chạy hàng nghìn cuộc hội thoại mô phỏng trước khi launch, có tiếng ồn nền, nhiều giọng nói khác nhau và các edge case. Theo TechCrunch, các cuộc mô phỏng này có thể chạy song song cùng lúc.

Mỗi cuộc hội thoại được chấm theo một bộ metric chung. Bạn thêm được tiêu chí riêng và chạy regression check, tức là chạy lại cùng bộ kịch bản sau mỗi lần sửa để xem có chỗ nào tệ đi.

Trang chủ của Coval mô tả quy trình là một vòng lặp gồm ba bước Simulate, Observe và Review, áp dụng cả lúc thử trước khi launch lẫn khi chạy eval trên cuộc gọi thật ở production.

Bước Review là chi tiết đáng chú ý nhất. Các cuộc thất bại được chuyển cho người thật xem lại, và theo docs, phản hồi của họ dùng để huấn luyện lại AI judge và làm metric chính xác hơn.

Coval cũng có tích hợp native với Langfuse, nên đội nào đã dùng Langfuse để trace có thể chạy simulation test end-to-end trên toàn bộ cuộc hội thoại của voice agent.

## Thử với một agent đặt lịch nha khoa

Thử hình dung bạn deploy một voice agent đặt lịch cho một chuỗi phòng khám nha khoa. Qua customer discovery, bạn biết bốn kiểu người gọi làm lễ tân đau đầu nhất: người gọi từ nơi ồn ào, người nói giọng địa phương nặng, người đổi giờ hẹn ngay giữa cuộc gọi, và người hỏi bảo hiểm chi trả bao nhiêu, câu mà agent không được phép tự trả lời.

Mỗi tình huống bạn tạo 50 biến thể, tổng cộng 200 cuộc hội thoại. Bạn viết ba tiêu chí thành câu rõ ràng. Agent phải đặt đúng ngày giờ, phải chuyển máy cho người thật khi câu hỏi nằm ngoài phạm vi, và không được bịa ra con số bảo hiểm.

Giả sử kết quả là 170 cuộc đạt, 30 cuộc trượt, và 22 trong số 30 cuộc trượt thuộc nhóm tiếng ồn. Con số này chỉ ra lỗi nằm ở khâu nhận dạng giọng nói, không phải ở prompt. Viết lại prompt lúc này chỉ tốn thời gian mà không sửa được gì.

Bạn gửi 30 cuộc thất bại cho một nhân viên phòng khám nghe lại. Giả sử họ phát hiện 5 cuộc mà judge chấm trượt nhầm, vì agent thực ra đã chuyển máy đúng lúc. Như vậy bạn sửa được cả agent lẫn cách chấm điểm. Sau đó bạn chạy lại đúng 200 kịch bản đó làm regression trước khi bàn giao.

**Điểm mấu chốt:** Người gọi khó tính nào chưa xuất hiện trong mô phỏng, agent sẽ gặp họ ở production.

## Giới hạn cần nói thẳng với khách

Mô phỏng chỉ tốt bằng kịch bản bạn viết. Nếu discovery bỏ sót tình huống người gọi đọc số thẻ bảo hiểm, hàng nghìn cuộc mô phỏng cũng không phát hiện ra lỗi đó. Đó là lý do không thể bỏ qua việc chạy eval trên cuộc gọi thật ở production.

AI judge cũng có thể chấm sai. Chính việc Coval đưa người thật vào vòng review cho thấy nhà làm công cụ không coi điểm tự động là kết luận cuối cùng. Vì vậy, khi báo cáo cho khách, hãy nói số cuộc bạn đã kiểm lại bằng tay, chứ đừng chỉ đưa ra tỷ lệ pass.

Cuối cùng, docs và trang chủ hiện xoay quanh voice. Phần chat được nhắc trong bài của TechCrunch và trong mô tả trên Y Combinator. Nếu khách cần chủ yếu chat agent, hãy kiểm tra kỹ tính năng thực tế trước khi hứa. Danh sách logo trên trang chủ, gồm Chime, Perplexity, ServiceNow, StubHub, Zoom, Toast và Upstart, là lời giới thiệu của chính nhà cung cấp.

## Nên học gì trước khi đụng vào công cụ?

Thứ cần học đầu tiên là kỹ năng biến ghi chú của khách thành kịch bản và tiêu chí kiểm tra được, chứ không phải giao diện của Coval. Kỹ năng này dùng được với mọi công cụ eval. Nó cũng là thứ phân biệt một FDE với một người chỉ biết gọi API.

Kế đến là thói quen regression: mỗi lần sửa prompt, đổi model hay đổi nhà cung cấp speech-to-text, bạn chạy lại cùng một bộ kịch bản. Đi cùng với nó là observability, tức hiểu trace của một cuộc hội thoại đủ rõ để biết lỗi nằm ở khâu nhận dạng giọng nói, ở logic hay ở tool call.

Khi đọc job description, hãy tìm các từ khóa như "evals", "voice agents" và "simulation". Trong CV, hãy ghi bằng con số: số kịch bản bạn đã xây, regression nào bộ kịch bản đó bắt được trước khi khách gặp phải. Con số như vậy cho người đọc CV thấy việc bạn đã làm, còn một dòng "có kinh nghiệm với LLM" chỉ là lời tự nhận.

Coval chạy được hàng nghìn cuộc hội thoại, nhưng chỉ người đã ngồi với lễ tân phòng khám mới biết cuộc nào đáng chạy.

**Thử ngay tuần này:**

- Lấy một agent bạn đang làm, viết 4 nhóm kịch bản người gọi khó từ ghi chú discovery, mỗi nhóm kèm một tiêu chí pass/fail viết thành câu
- Đọc docs.coval.ai, đối chiếu bộ metric mặc định với 4 tiêu chí của bạn để xem tiêu chí nào phải tự định nghĩa
- Chọn ra 20 cuộc hội thoại thất bại, tự chấm lại bằng tay rồi so với điểm của judge tự động

## Nguồn

- [Coval Docs](https://docs.coval.ai/)

- [Coval](https://www.coval.ai/)

- [Coval evaluates AI voice and chat agents like self-driving cars](https://techcrunch.com/2025/01/23/coval-evaluates-ai-voice-and-chat-agents-like-self-driving-cars)

- [Coval | Y Combinator](https://www.ycombinator.com/companies/coval)

- [A Guide to Evaluating Voice AI Agents](https://langfuse.com/blog/2025-01-22-evaluating-voice-ai-agents)