BRAVEn: 提升自我监督的视觉和听觉语音识别预训练
原文中文，约400字，阅读约需1分钟。发表于：。我们提出了 BRAVEn，这是对最近的 RAVEn 方法的扩展，完全从原始的音频 - 视觉数据中学习语音表示。我们的修改使得 BRAVEn 在各种环境中成为自我监督方法中的领先者，并且我们通过增加大量未标记数据观察到有利的扩展行为。我们的结果表明，现成的未标记音频 - 视觉数据可以在很大程度上代替昂贵的转录数据。
该论文提出了一种新颖的资源高效方法，利用已训练的自动语音识别模型进行视觉语音识别。该方法在VSR基准测试中以极少的资源实现了竞争性的性能，微调后的词错误率分别为35%（LRS2）和45.7%（LRS3）。该模型可以在几天内在单个GPU上进行训练，并能够在老旧硬件上实时进行端到端的VSR。
