该文综述掩码自编码器（MAE）在多模态与音频领域的扩展：CAV-MAE结合对比学习与掩码建模学习音视频联合表示，在VGGSound上以65.9%取得新SOTA；Audio-MAE用Transformer编解码器以高掩蔽率处理频谱图，在六项音频语音分类任务上领先；此外还有工作将MAE用于语音情感识别、手术视频、视频预训练及理论解释，并验证了数据质量与掩码策略的重要性。