本文综述音视频语音识别研究进展。AV-HuBERT自监督框架在噪声环境下性能提升超50%，词错误率较音频模型降低75%以上；AKVSR利用音频知识增强视觉语音识别，在LRS2和LRS3数据集上达到最佳性能。其他方法包括唇动识别、多层交叉注意力融合、基于合成口型数据的半监督学习、强化学习协调模态表示、AVFormer轻量适配器实现零样本识别、Whisper支持低资源语言视觉语音识别、以视频Transformer替代三维卷积，以及多模态注意力Seq2seq等，均在相应数据集上取得领先或显著提升。

该研究提出了一种基于多模态注意力的音视频语音识别方法，使用Seq2seq架构，在不同信噪比下相对于单独的音频模态获得2%到36%的提高，适用于清洁和嘈杂的条件下，可推广到其他多模态任务中。

该研究提出了一种基于多模态注意力的音视频语音识别方法，使用了最先进的Seq2seq架构，相对于单独的音频模态获得了2%到36%的提高。该方法在不同信噪比下，无论是清洁还是嘈杂的条件下，都能获得更好的识别性能，并可推广到其他多模态任务中。