FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

越南语呼叫中心转写,模型反而是最简单的一环

PhoWhisper 负责转写,WhisperX 区分说话人,真正的错误来自 8kHz 音频、抢话和拼接两者的代码。

分享微博

要点速览

  • 越南语首选 PhoWhisper:VinAI 用覆盖多种地方口音的 844 小时数据对 Whisper 做了微调。
  • 呼叫中心录音通常是 8kHz,而 PhoWhisper 需要 16kHz 输入,重采样必不可少。
  • 摘要的质量取决于文字稿里说话人归属是否正确,准确率必须在客户自己的数据上测量。
五步流程示意图。音频先规范化为 16kHz,随后分成两路:PhoWhisper 转写语音,WhisperX 区分说话人。两路在对话合并这一步汇合,该步骤以橙色突出显示,并注明说话人标签分错会导致坐席与客户角色互换。最后一步是生成摘要。
一路输出每个词及其时间戳,另一路输出带说话人标签的时间段。按时间对齐这两路,是必须自己测试和验证的一步:只要分错一个角色,整份摘要就会颠倒。

一个呼叫中心每天可能录下几千通电话,却几乎没人回头再听。客户请前线部署工程师(FDE)“把这些录音利用起来”时,难点很少出在模型上,而在于低质量的 8kHz 文件、两人同时说话,以及演示数据集里从未出现过的地方口音。

AWS 把语音转文字描述为一种软件:它听取音频,返回逐字、可编辑的文字稿。AWS 还把通话分析,即从客户对话中提取洞察,列为这项技术的应用之一。本指南在你自己的笔记本电脑上搭建这个问题的缩小版。

最终你会得到文字稿、说话人标签和摘要,外加一个由你亲自算出的质量分数。

要搭建什么,需要准备什么?

这条流水线分五个阶段:规范化音频,转写,加时间戳并区分说话人,拼成带标签的对话,最后生成摘要。收尾一步是测量整条链路在哪里出错。

你需要 Python、Hugging Face 的 transformers 库和几段通话录音。如果手头还没有真实数据,可以和朋友分别扮演坐席和客户,用手机录下来。有 GPU 更好,但跑小模型并非必需。

Whisper 有六种模型尺寸,在速度和准确率之间取舍,所以用哪一种取决于客户的 GPU 预算。

第 1 步:为什么呼叫中心文件必须升到 16kHz?

呼叫中心录音通常以 8kHz 存储,而 PhoWhisper 需要采样率为 16kHz 的输入音频。这是模型的输入要求,即使文件看起来能正常播放,也不要跳过。第一步就是把所有文件重采样到 16kHz,并清楚命名,例如 call_001_16k.wav。

下面是精简版代码,假设已安装 librosa 和 soundfile;用 torchaudio 或 ffmpeg 也一样,只要输出是 16kHz:

# 精简版:把一段录音重采样为 16kHz 单声道
import librosa
import soundfile as sf

audio, sr = librosa.load("call_001.wav", sr=16000, mono=True)
sf.write("call_001_16k.wav", audio, 16000)
print(sr)  # 必须输出 16000

**检查:**打开几个转换后的文件听一听,并打印采样率,确认是 16000。常见错误是只重采样了文件夹里的一部分文件,结果某个文件效果好、另一个效果差,最后却怪到模型头上。

第 2 步:用原版 Whisper 还是 PhoWhisper?

OpenAI 的代码仓库把 Whisper 定位为通用语音识别模型:支持多语种转写、语音翻译和语种识别。同一个仓库也明确说明,Whisper 的质量因语种不同而差异很大。对越南语来说,这正是值得试一试专门微调模型的原因。

VinAI 的 PhoWhisper 是在 844 小时越南语数据(包含多种地方口音)上微调的多语种 Whisper,共有五个版本。通过 transformers 的 ASR pipeline 调用:

from transformers import pipeline

transcriber = pipeline("automatic-speech-recognition", model="vinai/PhoWhisper-small")
# 精简版:取结果中的文本部分
output = transcriber("call_001_16k.wav")["text"]
print(output)

如果想和原版 Whisper 对比,有一个坑:turbo 模型没有针对翻译任务训练。处理越南语通话录音时,只用它做转写,不要让它翻译成英文。

**检查:**边听音频边读文字稿。重点关注人名、订单号和电话号码,因为这些是客户最在意、也最容易出错的地方。

第 3 步:谁在说话,什么时候说的?

一整块文字还算不上通话记录。要生成“客户投诉送货延迟,坐席承诺退款”这样的摘要,就得知道每句话是谁说的。原版 Whisper 只给出句子级时间戳,粒度不够细,两人抢话时无法干净地切开。

WhisperX 从三个方面补上了这个缺口。它用 wav2vec2 做对齐,得到每个词的精确时间戳;用 pyannote-audio 区分说话人,返回说话人 ID 标签。

它还在预处理阶段运行语音活动检测(VAD)来减少幻觉,并在不提高词错误率(WER)的前提下做批量推理,用 large-v2 时速度约为实时的 70 倍。

有一点必须说清楚:这些都是 WhisperX 的功能,没有任何保证 PhoWhisper 的文字稿能直接送进 WhisperX 的 wav2vec2 对齐步骤。把两个工具组合起来,应当视为一个需要你自己测试验证的设计。

思路是:一路输出每个词及其时间,另一路输出带说话人标签的时间段,你的任务是按时间把两路合并。

对齐和说话人分离的具体命令与参数,请直接参照 m-bain/whisperX 仓库的 README,并与你安装的版本对应。

合并的代码可以自己写,这也是最值得练习的部分。下面是精简版,基于你自己定义的数据结构,而不是 WhisperX 的 API:每个词分配给与它时间重叠最多的说话人。

# 精简版:words 和 turns 是你自己转换成这种结构的数据
# words = [{"word": "hello", "start": 0.4, "end": 0.7}, ...]
# turns = [{"speaker": "SPEAKER_00", "start": 0.0, "end": 3.2}, ...]

def overlap(a_start, a_end, b_start, b_end):
    return max(0.0, min(a_end, b_end) - max(a_start, b_start))

def assign_speakers(words, turns):
    for w in words:
        best = max(turns, key=lambda t: overlap(w["start"], w["end"], t["start"], t["end"]))
        w["speaker"] = best["speaker"]
    return words

**检查:**说话人分离只给出 SPEAKER_00 和 SPEAKER_01,并不知道谁是坐席。你得自己定重新标注的规则,比如说出标准开场问候语的一方是坐席。每通电话都要检验这条规则,因为只要有一通电话是客户先开口,整份摘要的角色就会颠倒。

第 4 步:摘要要包含什么,用户才会真正需要?

拿到带标签的对话后,交给语言模型生成摘要。不要笼统地要求“总结这通电话”,而要准确列出呼叫中心主管需要看的字段。下面的模板仅作示例,请换成客户实际使用的字段:

# 摘要模板示例
- 来电原因:
- 通话结束时客户是否满意:
- 坐席做出的承诺(如有期限请注明):
- 下一步行动:

把摘要拆成字段,就能比较成千上万通电话,而不必读成千上万段自由文本。它还能暴露前面阶段的错误:如果“坐席做出的承诺”字段里出现了客户的话,几乎可以肯定第 3 步把说话人分错了。

第 5 步:在客户自己的数据上测量

Whisper 的质量随语种大幅波动,所以任何人公开的数字都无法替代你在客户越南语通话上的亲自测量。

常用指标是 WER,即词错误率。假设一句参考文本有 20 个词,模型错了 3 个、漏了 1 个,WER 就是 4 除以 20,即 20%。

要逐通电话计算,不要只看平均值,因为一通 WER 很高的地方口音电话,可能被十通标准口音电话掩盖。

借用公开数字还要再提防一点:arXiv 上一篇关于基于语音评估越南语服务质量的流水线论文,因结果存在重大错误,已被作者本人撤回。把任何人的数字放进给客户看的幻灯片之前,先确认来源仍然成立。

故障模式 症状 首先修复
部分文件忘记重采样 文件之间质量差距异常 检查所有文件采样率是否为 16000
静音段出现幻觉 等待期间冒出没人说过的句子 转写前开启 VAD
坐席与客户角色颠倒 摘要写着客户“承诺退款” 复查说话人重新标注规则

这项技能在客户项目中如何体现?

作为这类项目的 FDE,头几天先测量,再选模型。向客户要 20 到 30 通在地区、时段和投诉类型上有代表性的电话,和一位值班主管坐在一起录入参考文字稿,然后跑流水线,给出按分组拆分的 WER 表。

这张表能帮助决定用哪个模型尺寸、是否需要 GPU,以及哪些电话必须交给人工复核。

浏览 FDE 或解决方案工程师的岗位描述时,留意“call analytics”“speech”“contact center”“ASR”等字眼。简历上不要只写“用过 Whisper”,而要写明你在越南语数据上测量过 WER,发现了 8kHz 音频或说话人角色颠倒导致的错误,并说明你如何修复。

选模型只需一行代码。知道流水线会在哪些电话上出错、为什么出错,才是客户付钱买的东西。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 3: AI 应用Llama 3.1 模型卡列了泰语,却没有越南语读模型卡,再自己跑测试,一个晚上就能比清 Qwen、Llama、Gemma 和 Mistral 的许可证与语言支持。