FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

语音 Agent 显示已连接,却没人听得见

HTTPS 通了不代表音频出得去;看懂 ICE 候选和候选对,就知道该找网络团队还是回头查代码。

分享微博

要点速览

  • 页面能加载只说明 HTTPS 能通过;音频走的 UDP 路径可能被单独拦截。
  • STUN 获取公网地址,ICE 测试哪些地址对真正可用,别无他路时由 TURN 中继。
  • 始终准备好 443 端口上的 TURN/TLS 作为兜底,但仍要申请开放 UDP,以获得最佳音质。
示意图展示从客户端网络经防火墙到服务器的两路流。走 HTTPS 443 端口的网页流从缺口通过,处于开放状态;走 3478/UDP、50000-60000/UDP 和 7881 的音频流被防火墙挡住,无路可出。
假设场景:防火墙只放行 443,系统也未启用 TURN/TLS,因此界面一直显示正常,音频数据包却无路可出。来源:LiveKit 自托管文档中的端口列表。

设想一个呼叫中心语音 Agent 上线的早上。演示在你的笔记本上很顺利,在项目经理的 4G 手机上也没问题。到了客户的企业网络里,界面显示已连接,Agent 也进了房间,却没有任何人听到声音。

第一反应往往是怀疑模型,或者回头改提示词。先别急。页面能加载、声音却出不来时,第一个问题应该是:音频数据包到底有没有路可走?

这时候提工单、干等着无济于事。如果你能坐在客户 IT 团队旁边,准确指出哪条路径被拦,并准确申请需要的端口,当天上午就能挽回这次上线。

页面过得去,语音未必过得去

把一通通话拆成两路流。第一路是网页,走 HTTPS:界面能出来,说明这一路是通的。第二路是音频,它不一定走同一条路径。

LiveKit 自托管文档里的端口列表把这种区分写得很清楚:443 用于 HTTPS 和 TURN/TLS,而 WebRTC 还需要 3478/UDP、50000-60000/UDP 端口段,以及 TCP 路径使用的 7881。

假设防火墙只放行 443,而你的系统还没启用 TURN/TLS。HTTPS 畅通无阻,界面一直是绿的;语音数据包却根本出不去。

三个角色:ICE、STUN 和 TURN

MDN 将交互式连接建立(ICE)描述为帮助浏览器与对端建立连接的框架:穿越防火墙,在设备没有公网 IP 时获取地址,必要时中继数据。可以把 ICE 看作探路者。它先收集所有可能用得上的地址,即候选(candidate),再逐一尝试哪些地址对可以连通。

候选主要有三种。host 是本机的真实地址。srflx 是数据包经过网络地址转换(NAT)发往服务器时,由 NAT 分配的地址;STUN(NAT 会话穿越实用工具)就是用来发现自己的公网地址和路由器限制的协议。relay 是从 TURN(中继穿越 NAT)服务器获得的地址,用于在双方之间中继媒体流。

光有公网地址还不够。遇到对称型 NAT 时,TURN 通过服务器中继全部数据来穿越。代价是额外成本,所以 MDN 和 RFC 8656 都建议只在找不到其他路径时才使用 TURN。

在企业网络里,先怀疑 UDP 被拦截,再考虑 NAT。下面的测试几分钟就能回答这个问题。

从几行日志读懂客户网络

回到上线那天早上。在客户网络内的一台真实机器上打开 DevTools,分别测试每条路径。把服务器名和凭据换成你自己系统的。

function probe(url, creds = {}) {
  const pc = new RTCPeerConnection({ iceServers: [{ urls: url, ...creds }] });
  pc.createDataChannel('probe'); // 触发候选收集所必需
  pc.onicecandidate = (e) => {
    if (e.candidate) console.log(url, e.candidate.type);
  };
  pc.createOffer().then((offer) => pc.setLocalDescription(offer));
}

const creds = { username: 'TEMP_USER', credential: 'TEMP_PASS' };
probe('stun:media.example.com:3478');
probe('turn:media.example.com:3478?transport=udp', creds);
probe('turns:media.example.com:443?transport=tcp', creds);

假设输出如下:

stun:media.example.com:3478                  host
turn:media.example.com:3478?transport=udp    host
turns:media.example.com:443?transport=tcp    host
turns:media.example.com:443?transport=tcp    relay

逐行来读。host 总会出现,所以暂时说明不了什么。STUN 路径没有返回 srflx,UDP 上的 TURN 也没有返回 relay:两条 UDP 路径都没有回应。只有 443 端口上的 TURN/TLS 有回应,合理的结论是:出站 UDP 被拦截,443 仍然开放。

如果 443 那一行也只有 host,先检查己方的 TURN 配置,再带着日志去找客户的 IT 团队。

但候选只是一个可能用来接收数据的地址,并不是已经验证可用的路径。RFC 8445 指出,ICE 的目的是找出哪些地址对可以连通,每一次检查都是针对某一特定地址对的 STUN 事务。

所以要真正打一通电话,然后在客户端和服务端日志里查找是否有成功的 ICE 候选对。如果一个都没有,音频仍然无路可走,问题仍在网络:带着日志找客户的 IT 团队,同时请己方负责媒体服务器的人一起排查。

最后一层在网络之外。如果已有候选对成功,却还是听不到声音,先别找 IT。对着麦克风说一句话,再看 Agent 的日志:它有没有识别到你说的话?有没有生成回复?

如果 Agent 什么都没收到,怀疑上行方向:麦克风、浏览器权限。如果 Agent 回复了,扬声器却依然无声,怀疑下行方向:浏览器拦截了自动播放,或者 Agent 流水线中的音频播放环节。

到底该请 IT 开什么?

“请开一下防火墙”这句话,IT 团队没法审批;一份具体的端口清单才可以。LiveKit 的部署文档是很好的参照;如果用的是其他系统,请查阅对应厂商的端口说明。

路径 LiveKit 要求的端口 如何与 IT 沟通
UDP 3478/UDP、50000-60000/UDP 始终申请:这条路径音质最好
基于 TCP 的 WebRTC 7881 也要申请,但不能替代 UDP
TURN/TLS 443 确认用户机器可以出站访问,作为 UDP 不可行时的兜底

LiveKit 在 UDP 不可行时使用 TCP 443 上的 TURN/TLS,但仍建议开放 UDP 端口,以获得最佳音视频质量。

如果己方已部署 TURN/TLS,且 443 上的探测返回了 relay,就如实告诉 IT:目前已有经 443 的兜底路径,申请开放 UDP 是为了让对话更流畅。如果还没部署,443 端口开着也救不了这通电话,第一件事要在自己这边做。

下一个客户,从一开始就这样做

别等到上线当天。第一周就申请一台与最终用户配置相同的机器,接入他们实际使用的网络(不是访客 Wi-Fi),运行探测脚本,并把结果存入项目文档。

接着打一通真实电话,记录 ICE 是否有成功的候选对,以及 Agent 是否听到并作出回复。把端口表连同日志证据一起发给 IT。等对方处理完,在 RTCPeerConnection 配置中加上 iceTransportPolicy: 'relay' 再测一次,确认兜底路径真正可用,而不只是写在纸上。

白白耗掉一上午的错误

一个常见陷阱是只配置 STUN,并且在家里测试。据 web.dev 介绍,大多数 WebRTC 通话仅靠 STUN 就能连通,所以家庭网络很容易让一切显示正常。WebRTC.org 的指南则明确指出,客户端之间直接建立 socket 往往不可行,常见的解决方案是 TURN。

下一个陷阱是有 TURN,却只跑在 UDP 上。防火墙拦截 UDP 时,这台 TURN 服务器也一并被拦,所以需要 TCP 443 上的 TURN/TLS。反过来,为求稳妥强制所有通话走中继,就要在本不需要中继的网络上承担额外成本,RFC 8656 不建议这样做。

也不要止步于候选。看到 srflx 或 relay 就断定网络没问题是不够的,只有对每个地址对的检查才能回答这个问题。还有,别在看 Agent 日志之前就怪网络,结果让客户的 IT 团队去追查一个可能根本不属于他们的故障。

如何把这项技能写进简历

这项技能值得写进简历,前提是写得具体。阅读语音 AI 岗位的职位描述时,留意 WebRTC、TURN 和 NAT 穿越这些关键词。描述项目时,不要写“熟悉 WebRTC”,而要说明网络拦截了什么、哪些日志证明了这一点、你申请开放了哪些端口。

练习:在自己机器上拦截 UDP

搭一个小型 WebRTC 应用,或者使用某个厂商的演示,然后在自己机器上添加一条防火墙规则,拦截出站 UDP,但保留 DNS。在不启用 TURN/TLS 的情况下打一通电话,记录探测得到的候选类型以及通话是否有声音;再启用 443 上的 TURN/TLS,重新拨打。

花一个晚上做完这个练习,无声通话就不再神秘,因为你亲手制造过一次。下次整个会议室都转头看着你时,你会知道该先打开哪份日志。

这篇文章对你有帮助吗?

8 个信源
路线图上的下一篇 · 阶段 1: 基础认知两天写完的解析器,看出你是 FDE 还是顾问区别不在头衔,而在谁为你的工时付费,以及代码能否回到产品里。