HiCMAE：用于自监督音频 - 视觉情感识别的层次对比遮蔽自编码器
内容提要
该文综述掩码自编码器（MAE）在多模态与音频领域的扩展：CAV-MAE结合对比学习与掩码建模学习音视频联合表示，在VGGSound上以65.9%取得新SOTA；Audio-MAE用Transformer编解码器以高掩蔽率处理频谱图，在六项音频语音分类任务上领先；此外还有工作将MAE用于语音情感识别、手术视频、视频预训练及理论解释，并验证了数据质量与掩码策略的重要性。
延伸解读
从单模态到多模态的MAE扩展路径
文章梳理了MAE从图像领域向音频、视频及音视频联合建模的扩展脉络。CAV-MAE将对比学习与掩码数据建模结合，在VGGSound上达到65.9%的新SOTA；Audio-MAE则用Transformer编解码器以高掩蔽率处理频谱图，在六项音频语音分类任务上领先。这些工作表明，MAE的核心设计——高比例掩码与轻量解码器——可迁移到非图像模态，但需针对模态特性调整掩码策略与编码结构。
自监督预训练对标注不足场景的价值
文中提到基于矢量量化和自监督学习的MAE模型，针对语音情感识别中标注数据不足的问题提出潜在方案，并在VoxCeleb2预训练后于标准情感音频视觉语音数据集上微调，表现优于现有音频视觉SER方法。这提示在情感识别等标注成本高的任务中，自监督预训练可作为缓解数据瓶颈的手段，但其效果依赖预训练数据与下游任务的匹配程度。
数据质量与掩码策略比单纯堆数据更关键
文章引用VideoMAE的研究指出，通过适当的视频掩码可提升自监督视频预训练的数据效率，并证明数据质量对SSVP比数据量更重要。同时，理论解释工作也强调了掩码策略的重要性并指出MAE框架的潜在局限。对实践者而言，这意味着在采用MAE类方法时，应优先关注预训练数据的干净程度与掩码比例、掩码方式的合理设计，而非仅扩大数据规模。
Q&A
CAV-MAE模型在音频-视觉情感识别中取得了什么成果？
CAV-MAE将MAE从单模态扩展到音频-视觉多模态，结合对比学习和掩码数据建模，学习联合和协调的音频-视觉表示，在VGGSound数据集上取得了65.9%的新SOTA准确率。
Audio-MAE是如何处理音频频谱图的？
Audio-MAE利用Transformer编码器-解码器设计，使用高掩蔽率编码音频频谱图，仅将非遮蔽记号馈送通过编码器层，解码器则重新组织和解码编码器产生的上下文，以重构输入谱图。
Audio-MAE在哪些任务上表现出色？
Audio-MAE在六个音频和语音分类任务中都表现出最先进的性能，超过了使用外部监督预训练的其他最新模型。
MAE在语音情感识别中有什么应用？
有研究提出基于矢量量化和自监督学习的MAE模型，用于解决语音情感识别中标注数据不足的问题。实验证明，该模型在VoxCeleb2数据库上预训练并在标准情感音频视觉语音数据集上微调后，表现优于现有的音频视觉SER方法。
AV-MaskEnhancer方法解决了什么问题？
AV-MaskEnhancer通过结合视听信息，学习高质量的视频表示，解决了从低分辨率和模糊的原始视频中提取特征的挑战，并在UCF101数据集上取得了98.8%的top-1准确率和99.9%的top-5准确率。
VideoMAE在自监督视频预训练中的数据效率如何？
研究表明，使用VideoMAE进行自监督视频预训练时，通过适当的视频屏蔽可以达到良好的表现，并证明数据质量对自监督视频预训练更加重要。
