BRAVEn: 提升自我监督的视觉和听觉语音识别预训练
内容提要
RAVEn是一种多模态方法，通过自监督学习结合视觉和听觉语音表征，显著提升了视觉语音识别（VSR）性能。该方法在低资源环境下表现优异，利用少量标记数据和未标记音频-视觉数据，降低了词错误率，并在多个基准测试中取得了最新成果。
延伸解读
低资源场景下的性能突破
RAVEn 在仅使用 30 小时标记数据的情况下，性能超过了使用 90000 小时非公共数据训练的半监督方法。这表明自监督学习能有效利用未标记数据，减少对大规模标注数据的依赖，为低资源语言或特定领域的视觉语音识别提供了可行路径。
资源效率与硬件可行性
基于 Conformer 的 ASR 模型提取知识的方法，仅需未标记音视频数据，在 LRS2 和 LRS3 上分别达到 47.4% 和 54.7% 的词错误率，微调后降至 35% 和 45.7%。模型可在单个消费级 GPU 上几天内完成训练，并能在老旧硬件上实时运行，降低了研究和应用门槛。
多语言与跨语言潜力
RAVEn 框架支持跨语言自监督视觉表示学习，对无标注多语言数据预训练后，用标记转录微调视觉模型。实验证明多语言模型优于单语言模型，且多语言预训练胜过仅英文预训练，使用相似语言效果更好，这为多语言视觉语音识别系统开发提供了参考。
Q&A
RAVEn的主要功能是什么？
RAVEn是一种多模态方法，通过自监督学习结合视觉和听觉语音表征，提升视觉语音识别性能。
RAVEn在低资源环境下的表现如何？
RAVEn在低资源环境下表现优异，仅使用30小时标记数据就超越了使用90000小时非公共数据训练的半监督方法。
RAVEn如何减少词错误率？
RAVEn在噪音干扰情况下提高了超过50%的性能，并将词错误率减少了75%以上。
RAVEn的训练数据需求是什么？
RAVEn仅需30小时的标记数据和未标记的音频-视觉数据进行训练。
RAVEn在LRS3测试基准上的表现如何？
在LRS3低资源设置中，RAVEn在听觉语音识别和视觉语音识别方面均取得了最新的结果。
RAVEn的训练效率如何？
RAVEn可以在几天内在单个消费级GPU上进行训练，并能够在老旧硬件上实时进行端到端的视觉语音识别。
