内容提要
Cekura基准测试显示,主流流式语音识别模型在干净音频与真实电话通话中的表现差异显著:最准模型的词错误率从1.75%升至4.83%,19个模型中有16个在真实通话上表现更差,中位升幅达54%。原因包括对话抢话、设备环境差异及测试集污染。文章建议企业用自有通话录音自建测试集,关注误差范围、关键字段准确率和转写延迟,不应仅凭公开排行榜采购。
延伸解读
公开排行榜与真实通话的落差
Cekura测试显示,干净音频上最准的模型在真实通话中词错误率从1.75%升至4.83%,19个模型中有16个表现更差,中位升幅54%。这意味着仅凭公开榜单采购,可能选中在真实场景中表现平庸的模型。文章建议企业用自有通话录音自建测试集,并关注误差范围,而非单一分数。
测试集污染与样本局限
文章指出,公开测试集可能被纳入模型训练数据,导致“见过考题”的高分无法迁移到客户通话。同时,真实通话样本仅8条,部分得分差异落在误差范围内,名次不宜过度解读。但干净片段前五名在通话数据上错误率全部翻倍,这一跃升已超出误差范围,值得警惕。
WER之外:关键字段与延迟
WER将漏掉一个语气词与账号错一位数字同样计为错误,统计口径存在缺陷。文章建议对人名、日期、账号、地址等业务关键字段单独评估准确率。此外,语音智能体需等待最终转写才能回复,测试中等待中位数因模型不同在38毫秒至652毫秒之间浮动,转写延迟也应纳入考量。
自建测试集的实操要点
企业自测应覆盖实际口音、设备、线路质量与通话类型,并由人工仔细转写参考文本。测试音频量需足够大,使决策差异大于噪声,并为每个分数标注误差范围。每当更换模型或厂商更新时重跑测试。公开基准可作为候选名单起点,但最终决策应基于自身业务音频的验证。
Q&A
为什么语音识别模型在公开测试集上表现很好,但在真实电话通话中错误率会大幅上升?
主要原因有两个:一是声学特征差异,真实通话中存在抢话、重复、中断、插话以及免提、耳机、车载等环境噪声,这些在干净音频片段中不存在;二是测试集污染,公开测试集可能被纳入模型训练数据,导致模型“见过考题”而获得高分,但这种优势不会延续到客户通话场景。
Cekura的测试中,模型在干净音频和真实通话上的词错误率具体差多少?
最准确的模型在干净音频上词错误率为1.75%,在真实通话上升至4.83%,接近三倍。19个被测模型中有16个在真实通话上表现更差,错误率上升的中位数达到54%。干净片段上表现最好的五个模型,在通话数据上的错误率全部至少翻倍。
企业应该如何自建测试集来评估语音识别模型?
建议包括:用企业自有通话录音构建测试集,覆盖实际口音、设备、线路质量和通话类型,并人工仔细转写作为参考文本;在自建测试集上为每个模型评分并与公开分数对照;确保测试音频量足够大,使差异大于噪声,并为每个分数标注误差范围;对人名、日期、账号、地址等关键字段单独评估准确率;为最终转写计时;每当更换模型或厂商更新时重跑测试。
什么是测试集污染,它对语音识别基准测试有什么影响?
测试集污染是指公开发布的测试集被纳入模型训练数据,导致模型因“见过考题”而获得高分。这种优势不会延续到客户通话场景,因为真实通话的声学特征和内容与训练数据不同。Cekura表示其数据无法解释具体模型的波动成因,也未指认任何模型存在污染,但保留真实对话作为独立验证集是可行的检验手段。
为什么不能只看公开排行榜的单一分数来采购语音识别模型?
因为排行榜通常只呈现一个数字,而单一数字极易被过度解读。在Cekura的真实通话数据集上,另有14个模型的成绩落在第一名误差范围之内;在干净片段上这一数字为7个。两个模型相差零点几个百分点对采购决策几乎不具参考价值,除非基准同时披露不确定性。此外,WER统计口径本身存在缺陷,且模型在干净音频和真实通话上的排名可能显著偏差。
语音识别模型的转写延迟对语音智能体有什么影响?测试结果如何?
语音智能体通常需等待最终转写才能回复,因此转写延迟直接影响响应速度。在Cekura的测试中,从来电者说完到最终文本抵达的等待中位数因模型不同在38毫秒至652毫秒之间浮动。企业应为最终转写计时,并将延迟作为选型指标之一。