SlideAVSR：用于视听语音识别的论文解释视频数据集
内容提要
本文综述音视频语音识别研究进展。AV-HuBERT自监督框架在噪声环境下性能提升超50%，词错误率较音频模型降低75%以上；AKVSR利用音频知识增强视觉语音识别，在LRS2和LRS3数据集上达到最佳性能。其他方法包括唇动识别、多层交叉注意力融合、基于合成口型数据的半监督学习、强化学习协调模态表示、AVFormer轻量适配器实现零样本识别、Whisper支持低资源语言视觉语音识别、以视频Transformer替代三维卷积，以及多模态注意力Seq2seq等，均在相应数据集上取得领先或显著提升。
延伸解读
自监督与知识蒸馏：两条降低标注依赖的路径
AV-HuBERT 用自监督学习减少对标注数据的依赖，在 LRS3 少量标注数据下，噪声环境性能提升超 50%，词错误率较音频模型降低 75% 以上。AKVSR 则用预训练音频模型编码知识，训练时无需音频输入，在 LRS2 和 LRS3 上达到最佳。两者都试图在标注有限时利用无标注或跨模态信息，但前者侧重自监督预训练，后者侧重音频知识迁移。
合成数据与轻量适配：扩展视觉语音识别的边界
SynthVSR 利用语音驱动的口型动画模型生成大规模合成数据，通过半监督学习提升视觉语音识别性能。AVFormer 则用轻量级可训练适配器将视觉嵌入注入冻结的语音识别模型，仅需少量弱标注视频，就在 How2、VisSpeech 和 Ego4D 上取得零样本最佳结果，同时在 LibriSpeech 上表现良好。这两种方法分别从数据扩充和模型适配角度降低对大规模标注的依赖。
多模态融合与特征提取的持续优化
多层交叉注意力融合方法在不同编码器层级融合音频和视觉模态，在 MISP2022-AVSR 挑战数据集上取得 29.13% 的 cpCER，超过第一名系统。MSRL 用强化学习动态协调模态不变和模态特异性表示，在 LRS3 上取得最新成果。视频 Transformer 替代三维卷积进行视觉特征提取，在 LRS3-TED 上达到国际领先，并在多人场景下平均降低 2% 的性能损失。这些工作显示融合策略和特征提取器仍是提升关键。
Q&A
AV-HuBERT在音视频语音识别中有什么优势？
AV-HuBERT是一个自监督音视频语音识别框架，利用LRS3数据集的少量标记数据，在噪音干扰下性能提升超过50%，并且比基于音频的模型将词错误率降低了75%以上。
AKVSR如何利用音频知识来增强视觉语音识别？
AKVSR通过预训练的大规模音频模型编码丰富的音频知识，并量化舍弃非语言信息，将语言信息保存在紧凑的音频存储器中，再通过音频桥接模块找到最佳匹配的音频特征，使得训练过程不需要音频输入，从而补充视觉模态中不足的语音信息。
有哪些方法在LRS3数据集上取得了领先性能？
AV-HuBERT在LRS3上利用少量标记数据提升了噪声环境下的性能；AKVSR在LRS2和LRS3上取得了最新的最佳表现；MSRL基于强化学习在LRS3上取得了最新成果；视频Transformer方法在LRS3-TED上取得了国际领先性能。
AVFormer如何实现零样本音视频语音识别？
AVFormer使用轻量级可训练的适配器将视觉嵌入注入到冻结的语音识别模型中，并引入一种训练方案，同时用小量且弱标注视频数据进行训练，从而在三个音视频ASR基准上取得了最先进的零样本结果。
Whisper模型如何用于低资源语言的视觉语音识别？
Whisper模型通过语言识别和基于音频的语音识别，在没有人工注释的情况下获得与人工注释标签相似的VSR性能，并提供了大规模无标注多语言数据库的自动标签，从而面向多种语言特别是低资源语言实现强大的视觉语音识别。
视频Transformer相比三维卷积在音视频语音识别中有何改进？
视频Transformer替换三维卷积进行视觉特征提取，提高了音频-视觉自动语音识别的性能，在LRS3-TED上取得了国际领先性能，并且在多人音频-视觉自动语音识别方面相对于三维卷积平均降低了2%的性能损失。
