Apple Machine Learning Research ·

AV-CPL：用于音视频语音识别的连续伪标签方法

💡 原文英文，约400词，阅读约需2分钟。

📝

内容提要

本文介绍了一种名为AV-CPL的连续伪标签方法，用于音视频语音识别（AVSR）。该方法通过结合标记和未标记视频，持续生成伪标签来训练模型。在LRS3数据集上，AV-CPL显著提升了视觉语音识别（VSR）性能，同时保持了自动语音识别（ASR）和AVSR的实用性。此外，该方法利用未标记的视觉语音数据改善VSR表现。

🔎

延伸解读

方法核心：自生成伪标签

AV-CPL 的关键在于使用同一个音视频模型同时进行监督训练和伪标签生成，无需依赖外部语音识别模型。这种自训练方式降低了系统复杂度，也避免了外部模型可能引入的偏差。对于半监督学习在音视频语音识别中的应用，这一设计提供了一种更简洁的闭环思路。

性能提升与实用性平衡

在 LRS3 数据集上，AV-CPL 显著提升了视觉语音识别（VSR）性能，同时保持了自动语音识别（ASR）和音视频语音识别（AVSR）的实用性。这意味着该方法并非以牺牲其他模态性能为代价来换取 VSR 提升，而是实现了多模态任务的均衡改进，对于实际部署具有参考价值。

利用未标记视觉数据

AV-CPL 能够利用仅含视觉的未标记语音数据来改善 VSR 表现。这扩展了可用训练数据的范围，因为纯视觉数据比音视频同步数据更易获取。对于视觉语音识别任务，这一特性有助于缓解数据稀缺问题，并可能推动在无声或隐私敏感场景下的应用。

❓

Q&A

AV-CPL方法的主要功能是什么？

AV-CPL是一种用于音视频语音识别的连续伪标签方法，能够结合标记和未标记视频生成伪标签来训练模型。

AV-CPL在LRS3数据集上的表现如何？

在LRS3数据集上，AV-CPL显著提升了视觉语音识别的性能。

AV-CPL如何利用未标记数据改善VSR表现？

AV-CPL利用未标记的视觉语音数据来改善视觉语音识别的表现。

AV-CPL方法的训练过程是怎样的？

AV-CPL通过持续生成伪标签，结合标记和未标记视频来训练音视频语音识别模型。

AV-CPL是否需要外部语音识别模型？

AV-CPL使用相同的音视频模型进行监督训练和伪标签生成，因此不需要外部语音识别模型。

AV-CPL对自动语音识别的影响是什么？

AV-CPL在提升视觉语音识别性能的同时，保持了自动语音识别的实用性。

🏷️