XLAVS-R：跨语言音视频言语表征学习用于噪音鲁棒言语感知
内容提要
本文探讨了跨语言自监督视觉表示学习，介绍了RAVEn框架和XLS-R模型，强调多语言模型在视觉语音识别中的优势。研究表明，利用少量标记数据和无监督方法可以显著提升性能，尤其在噪声环境下。MuAViC数据集为多语言视听任务提供了支持。
延伸解读
多语言预训练的优势与条件
文章指出，在视觉语音识别中，多语言模型通常优于单语言模型，尤其是当预训练语言与目标语言相似时，效果提升更明显。此外，使用无标签的目标语言数据进行微调，其表现可与在预训练集中包含目标语言相竞争。这表明，跨语言迁移的有效性依赖于语言间的相似性，且无监督方法能缓解低资源语言的标注瓶颈。
噪声鲁棒性的技术路径
针对噪声环境下的语音识别，文章介绍了两种提升鲁棒性的方案：一是基于AV-HuBERT的自监督音视频框架，利用少量标记数据在噪声干扰下将性能提升超过50%，词错误率比纯音频模型降低75%以上；二是基于视觉模态的无监督噪声适应方案，通过音位-音素映射从视觉信号恢复干净音频，在LRS3和LRS2基准上达到最先进水平。这些方法凸显了视觉信息在噪声补偿中的关键作用。
关键模型与数据集的定位
XLS-R是基于Wav2vec 2.0的大规模跨语言语音表示模型，在128种语言、近50万小时数据上训练，旨在提升多语言语音任务表现。RAVEn则是一种多模态自监督方法，联合学习视觉和听觉表征，在视觉语音识别上优于其他自监督方法，仅用30小时标记数据结合自训练即超越使用9万小时非公开数据的半监督方法。MuAViC是首个开放多语言视听数据集，提供9种语言、1200小时数据，支持嘈杂环境下的识别与翻译。
Q&A
RAVEn框架的主要功能是什么？
RAVEn框架用于对无标注的多语言数据进行预训练，并通过标记的转录进行微调，以提升视觉语音识别的性能。
XLS-R模型的训练数据来源是什么？
XLS-R模型训练于128种语言的近半百万小时的公开语音数据。
MuAViC数据集的特点是什么？
MuAViC是首个开放的多语言视听数据集，提供1200小时覆盖9种语言的视听数据，支持嘈杂环境下的语音识别和翻译。
多语言模型相比单语言模型有哪些优势？
多语言模型在使用相似语言时效果更好，且在视觉语音识别中优于单语言模型。
如何提高噪音环境下的语音识别性能？
可以通过基于AV-HuBERT模型的自监督音视频言语识别框架和视觉模态的无监督噪声适应方案来提高噪音环境下的语音识别性能。
RAVEn在视觉语音识别中的表现如何？
RAVEn在视觉语音识别方面优于所有自主学习方法，并在低资源设置中取得了最新的结果。
