通过噪声表示学习增强对话语音识别的鲁棒上下文感知
内容提要
本研究提出了一种对话上下文感知的语音识别模型，利用上下文信息提升系统性能。实验结果表明，该模型在自动语音识别（ASR）和语音语言理解（SLU）任务中显著提高了语音识别的质量和鲁棒性。
延伸解读
上下文信息如何提升语音识别
文章指出，传统句子级端到端语音识别系统仅依赖当前句子信息，而对话上下文感知模型能在端到端训练中显式利用跨句子的上下文信息。在Switchboard交谈语音语料库上的评估显示，该方法优于可比的句子级系统。这表明，对于对话场景，引入历史语音或文本上下文有助于系统整体训练和性能提升。
应对噪声与错误的多种技术路径
文章汇总了多种提升鲁棒性的方法：混淆感知微调减轻ASR误差对预训练语言模型的影响；数据增强向对话模型训练数据注入ASR噪声以提高虚拟助手稳定性；错误模拟器随机破坏清洁训练文本以增强口语理解鲁棒性。这些方法从不同角度应对噪声和识别错误，但文章也指出，对话式噪声仍对模型表现有负面影响，现有去噪算法主要解决标签错误问题。
跨模态表示与大型语言模型的应用
文章提到，通过引入跨模态对话表示，结合预训练语音和文本模型扩展Conformer编码器-解码器，能提取更丰富的历史语音上下文，在HKUST和MagicData-RAMC数据集上分别实现8.8%和23%的相对准确度提升。此外，使用大型预训练语言模型评估口语任务导向对话发现，LLMs默认对口头噪声不够鲁棒，但在正确数据集上微调后可获得更强性能。
Q&A
对话上下文感知的语音识别模型有什么优势？
该模型通过使用上下文信息，显著提高了语音识别的质量和鲁棒性，优于传统的句子级语音识别系统。
如何通过数据增强提高虚拟助手的稳定性？
通过在训练数据中注入噪声，数据增强方法可以提高虚拟助手在噪声环境下的稳定性。
混淆感知的微调方法是如何改善ASR性能的？
该方法减轻了ASR误差对预训练语言模型的影响，显著提高了ASR转录文本的口语理解性能。
音频-文本交叉模态表示提取器的作用是什么？
它利用attention机制将上下文文本表示提供给ASR解码器，从而有效提升智能语音识别性能。
研究中如何评估不同模型在噪音下的表现？
通过构建噪音分类法并在多个实验中展示不同模型在不同噪音下的表现，评估其鲁棒性。
使用大型预训练语言模型的效果如何？
在口语任务导向对话中，微调大型预训练语言模型可以显著增强其对口头噪音的鲁棒性。
