Interspeech2024｜基于离散语音单元的流式解码器语音识别
内容提要
研究提出了流式语音识别的“decoder-only”模型，使用适配器和边界令牌来提升模型性能。实验结果表明，该模型在中文语音识别任务中取得了较好的性能。
延伸解读
流式识别的挑战与创新
传统统一语音-文本模型如SpeechGPT、VioLA和AudioPaLM在解码时需要整条语音，难以满足实时交互需求。本文提出的流式“decoder-only”模型通过引入适配器和边界令牌，结合因果注意力掩蔽，实现了流式识别。其中边界插入方法有效解耦文本和语音令牌，简化了解码过程，为实时ASR提供了新思路。
边界插入方法的优势
实验表明，边界插入（BTI）方法在中文语音识别任务中表现优越。与文本插入（TTI）相比，BTI通过解耦边界预测和文本预测，显著降低了字错误率（CER）。在AISHELL-1测试集上，BTI相比TTI实现了9.2%的相对CER降低，且展现出更好的LLM适应性，说明其能更有效地利用预训练语言模型。
右块注意力与数据增强的作用
流式模型因上下文有限，建模能力较弱。集成右块注意力机制后，模型能捕获更多语音信息，显著降低CER（从7.8%降至6.5%）。此外，标签平滑等数据增强技术缓解了语音令牌预测的过拟合问题，进一步提升了性能。这些技术共同增强了流式ASR的上下文建模能力。
性能对比与未来潜力
在AISHELL-2数据集上，流式“decoder-only”模型相比非流式版本CER仅上升4.1%（6.9%→7.2%），但与编码器-解码器模型相比稍差（6.9% vs 6.6%）。然而，随着训练数据量和模型参数增加，仅解码器模型有望超越传统模型，展现出在大规模数据上的潜力。
Q&A
流式语音识别的“decoder-only”模型有什么特点？
该模型旨在提升实时性能，使用适配器和边界令牌来优化解码过程，适合流式语音识别。
为什么现有的统一语音-文本模型在实时应用中存在问题？
现有模型在解码过程中需要整条语音，无法满足实时识别的需求。
边界插入方法（BTI）如何改善流式语音识别模型的性能？
BTI方法通过解耦文本和语音令牌，优化了边界预测和文本预测，从而提高了模型性能。
右块注意力机制在流式ASR模型中有什么作用？
右块注意力机制增强了上下文建模能力，帮助模型更好地捕获语音信息。
实验结果显示BTI方法在CER上表现如何？
BTI方法在CER上表现优越，且适应性更好，显著降低了错误率。
流式语音识别模型的未来发展潜力如何？
随着大规模数据和模型参数的增加，流式模型有潜力超越传统的编码器-解码器模型。
