基于 Branchformers 的定制音视频语音识别模型设计
内容提要
本文介绍了一种基于AV-HuBERT模型的自监督音视频语音识别框架，利用LRS3数据集在噪音环境中显著提升性能。通过多语种模型和跨模态注意力模块，增强了音视频识别的准确性，尤其在背景噪声下表现优异。研究提出的多层交叉注意力融合方法取得了新的最先进性能，验证了多模态学习在音视频识别中的有效性。
延伸解读
多模态融合的技术演进
文章梳理了音视频语音识别中多模态融合方法的演进：从早期利用口型和音节级次字单元相关性、音频引导的跨模态融合编码器，到基于Transformer的跨模态多头注意力，再到多层交叉注意力融合。这些方法逐步提升了融合效果，在MISP2022-AVSR挑战数据集上达到了新的最先进性能。
噪声环境下的性能优势
在背景噪声和语言噪声等噪声主导场景中，音视频语音识别相比单一音频模态展现出显著优势。基于AV-HuBERT的自监督框架在LRS3数据集上性能提升超过50%，词错误率降低75%以上；基于多模态注意力的方法在不同信噪比下获得2%到36%的提升，表明视觉信息能有效补充音频。
时序动态与跨模态注意力的作用
通过学习视频数据的三个时序动态（上下文顺序、播放方向和视频帧速度）并引入跨模态注意力模块，模型能丰富视频特征并考虑语音可变性。消融实验证明了时序动态损失和跨模态注意力架构设计的有效性，这有助于在噪声环境中从嘴唇运动中区分应识别的语音信号。
多语种与多任务训练的进展
多语种音视频语音识别模型和快速调整器模型提高了模型性能和音频噪声稳健性，在MuAViC基准上显著减少了平均识别错误率。多任务训练标准用于多分辨率ASR，同时生成字符和子词级转录，可加速收敛约50%，并相对于子词预测模型将词错误率性能提高高达18%。
Q&A
基于AV-HuBERT模型的音视频语音识别框架有什么优势？
该框架在噪音环境中性能提升超过50%，并且比基于音频的模型将词错误率减少了75%以上。
多语种模型如何影响音视频语音识别的准确性？
引入多语种模型显著提升了音视频识别的准确性，尤其在多语种数据集上训练时表现优异。
跨模态注意力模块在该模型中起什么作用？
跨模态注意力模块丰富了视频特征，增强了视频数据的时序动态，从而提高了识别性能。
多层交叉注意力融合方法的效果如何？
该方法在MISP2022-AVSR挑战数据集上达到了新的最先进性能，cpCER为30.57%，相较于前期系统有3.17%的相对改进。
该研究如何处理背景噪声对识别的影响？
通过学习视频数据的时序动态和引入跨模态注意力模块，模型在背景噪声下表现优异，能够区分语音信号。
该音视频语音识别方法的推广性如何？
该方法可以轻松推广到其他多模态任务中，显示出其广泛的应用潜力。
