Interspeech 2024 离散语音单元挑战中的语音处理技术报告
内容提要
本文探讨了语音识别和生成系统的研究进展，重点关注印度语言的ASR模型和视觉语音识别系统的表现。研究表明，离散单元在语音处理中的有效性，以及通过不同技术提高识别准确率的潜力。
延伸解读
离散单元在语音处理中的广泛有效性
文章指出，离散单元在端到端语音处理模型的几乎所有设置中都能取得相当好的结果。这表明离散表示可能成为一种通用且有效的建模方式，为语音识别、合成等任务提供统一框架。读者可关注这一趋势对模型设计的影响，例如是否减少对连续特征的依赖，以及在不同语言和任务中的泛化能力。
资源受限语言的ASR实践：印度与印尼案例
针对资源有限的印度语言，研究采用ASR模型与KenLM语言模型，取得了较低错误率；印尼语ASR基于XLSR-53预训练模型，仅用约24小时数据，通过语言模型将词错误率从20%降至12%。这两个案例说明，预训练模型和语言模型能显著降低对非英语语言训练数据的需求，为低资源语言系统开发提供可复用的思路。
视觉语音识别在挑战赛中的技术亮点
NPU-ASLP-LiAuto团队在2023年中国连续视觉语音识别挑战赛中，单说话人任务CER为34.76%，多说话人任务CER为41.06%，三个赛道均排名第一。另一系统在单说话人固定赛道使用Inter CTC残差模块和双变压器解码器，CER为38.09%，相对基线降低21.63%，获得第二名。这些结果表明，改进CTC条件独立性和利用上下文信息是提升VSR性能的有效途径。
通用语音生成与多任务建模的进展
SpeechX模型实现了零样本语音合成和多种语音转换任务，在降噪、目标说话人提取、语音去除和编辑等任务中，性能与专门模型相当或更好。它结合神经编解码器语言建模和多任务学习，通过任务相关提示实现统一建模。这提示读者，通用语音生成模型正朝着多任务、可扩展的方向发展，可能减少对多个专用系统的需求。
Q&A
离散单元在语音处理中的有效性如何？
离散单元在几乎所有设置下的端到端语音处理模型中表现良好，取得了相当好的结果。
印度语言的ASR系统是如何提高识别准确率的？
该系统采用ASR模型和KenLM语言模型，结合多通道前端增强和训练数据增强技术，显著降低了错误率。
SpeechX模型的主要功能是什么？
SpeechX模型能够实现零-shot语音合成和多种语音转换任务，表现出与专门模型相当或更好的性能。
NPU-ASLP-LiAuto团队在视觉语音识别挑战赛中的表现如何？
该团队在单说话人和多说话人任务中均取得了优异成绩，单说话人任务的CER为34.76%，多说话人任务的CER为41.06%。
MSXF TTS系统在训练中采用了什么技术？
MSXF TTS系统在训练阶段添加了约束损失，以研究语音速度和音量对欺诈的影响。
印尼ASR系统的开发有什么创新之处？
该系统基于XLSR-53预训练模型，显著减少了非英语语言训练数据需求，降低了词错误率。
