MSRS: 用稀疏掩码优化从零开始训练多模态语音识别模型
内容提要
本文探讨了深度学习在视觉语音识别（VSR）中的应用，提出了多种轻量级模型和技术，以提升噪声环境下的识别性能。研究表明，稀疏网络在抗干扰性方面优于密集网络，并在LRS3数据集上取得了先进成果。此外，结合自监督学习和音频知识以补充视觉信息的方法显著提高了识别准确率，尤其在低资源语言和多语种环境中表现突出。
延伸解读
稀疏网络在视觉语音识别中的抗噪优势
文章指出，通过基于幅度的修剪技术生成的稀疏网络，在视觉噪声环境下比密集网络更具抗干扰性。在LRS3数据集上，10%稀疏度达到最先进结果，70%稀疏度仍优于密集等效模型。对50%稀疏模型在7种视觉噪声类型上的评估显示，绝对词错误率改善超过2%。这表明稀疏化不仅压缩模型，还能提升鲁棒性，为轻量化VSR部署提供了新思路。
资源高效VSR：利用ASR知识蒸馏
文章介绍了一种资源高效方法，从预训练的基于Conformer的ASR模型中提取语音表示用于VSR。仅使用未标记音视频数据，在LRS2和LRS3测试集上分别达到47.4%和54.7%的词错误率；有限标记数据微调后降至35%和45.7%。模型可在单个消费级GPU上几天内训练完成，并能在老旧硬件上实时端到端运行，降低了VSR的研究与应用门槛。
音频知识补充视觉信息的AKVSR框架
针对视觉模态信息不足的问题，文章提出AKVSR框架，利用预训练大规模音频模型编码丰富音频知识，并通过量化舍弃非语言信息，将语言信息保存在紧凑的音频存储器中。音频桥接模块能从存储器中找到最佳匹配音频特征，且训练过程无需音频输入。在LRS2和LRS3数据集上取得最新最佳表现，验证了音频知识补充视觉信息的有效性。
多语种与低资源语言的VSR进展
文章提到，通过引入多语种音视频语音识别模型和快速调整器模型，提高了模型性能和音频噪音稳健性，在MuAViC基准上显著减少平均识别错误率。针对低资源语言，使用Whisper模型进行语言识别和基于音频的语音识别，无需人工注释即可获得与人工标签相似的VSR性能，并为大规模无标注多语言数据库提供自动标签，推动了VSR在多语种场景的落地。
Q&A
稀疏网络在视觉语音识别中的优势是什么？
稀疏网络在抗干扰性方面优于密集网络，能够在噪声环境中实现更高的识别性能。
MSRS框架的主要功能是什么？
MSRS框架通过动态协调模态不变和模态特异性的表示，提供互补信息以提升音视频语音识别的性能。
如何利用音频知识提升视觉语音识别的效果？
通过音频模态补充视觉模态中的不足，使用预训练的音频模型编码丰富的音频知识，从而提高识别准确率。
在LRS3数据集上，稀疏模型的表现如何？
在LRS3数据集上，稀疏模型在10%稀疏度下实现了最先进的结果，绝对词错误率改善超过2%。
该研究如何应对低资源语言的视觉语音识别？
研究通过使用Whisper模型，实现与人工注释标签相似的VSR性能，提供大规模无标注多语言数据库的自动标签。
多语种音视频语音识别模型的优势是什么？
多语种模型提高了识别性能和音频噪音的稳健性，在多语种数据集上达到了领先水平。
