EAT：高效音频 Transformer 的自监督预训练
内容提要
本文综述音频自监督学习进展：提出ATST模型实现分段级音频自监督学习，在多项下游任务中表现最佳；ATST-Clip与ATST-Frame分别学习剪辑级和帧级表示，后者在音频帧事件检测上达到最先进水平；改进SSAST并引入MAE编码器-解码器结构，使预训练提速3倍、内存降低2倍；首次将补丁式自监督框架用于AST；并涉及音视频高效自监督、情感识别、流式语音识别及音乐理解等应用。
延伸解读
从分段到帧级：ATST 系列如何覆盖不同音频任务
ATST 模型针对分段级音频自监督学习，在多项下游任务中表现最佳。后续的 ATST-Clip 和 ATST-Frame 分别学习剪辑级和帧级表示，并通过知识蒸馏提升性能。其中 ATST-Frame 在音频帧事件检测上达到最先进水平。这表明音频自监督学习正从粗粒度分段表示向更细粒度的帧级理解延伸，以适应事件检测等对时间定位要求更高的任务。
MAE 结构带来的效率提升：预训练更快、内存更省
对 SSAST 的改进引入 MAE 编码器-解码器结构，并调整了原模型 75% 的高掩模比率问题。结果显示，MAE 预训练相比当前音频预训练策略，在常规模型和输入尺寸下实现 3 倍加速和 2 倍内存使用率降低，且下游微调表现优于 SSAST。这提示掩模策略与编码器-解码器设计对音频自监督预训练的效率有显著影响。
补丁式自监督首次用于 AST：联合判别与生成式建模
该工作使用未标注数据，通过联合判别式和生成式掩蔽频谱补丁建模对 AST 进行预训练，显著提高音频分类性能。这是音频领域第一个基于补丁的自监督学习框架，也是 AST 自监督框架的首次探索。它把视觉领域常见的补丁掩模思路迁移到音频频谱图，为后续音频 Transformer 的自监督预训练提供了可参考的范式。
应用延伸：从流式语音识别到音乐理解
文章还涉及多项应用研究：利用领域内未筛选音频进行自监督学习，在流式混合语音识别中表现优于领域外预训练策略；融合自监督语音模型嵌入的集成框架在音频和非语音任务上普遍优于当前先进模型，尤其在细粒度音乐任务中表现突出；结合教师模型的音乐理解模型通过多种教师指导，提升了音乐检索等 14 项任务的表现。这些方向显示音频自监督学习正从通用表示走向场景化落地。
Q&A
ATST模型主要解决了音频自监督学习中的什么问题？
ATST模型解决了分段级别的音频自监督学习问题，并在新的正对配对策略支持下，在多项下游任务中实现了最新的最佳表现。
ATST-Clip和ATST-Frame有什么区别？
ATST-Clip负责学习音频剪辑级别的表示，而ATST-Frame负责学习帧级别的表示。其中ATST-Frame在音频帧事件检测任务上取得了最先进的表现。
改进SSAST模型时采用了什么方法？效果如何？
改进方法是将MAE的编码器-解码器结构集成到SSAST中，并改进原模型中使用的高掩模比率（75%）问题。效果是预训练速度提升3倍，内存使用降低2倍，且在下游任务微调中表现优于SSAST。
在AST模型上首次使用的自监督预训练框架是什么？
是使用未标注数据进行自监督预训练的方法，通过联合判别式和生成式掩蔽频谱补丁建模对AST进行预训练。这是音频领域中第一个基于补丁的自监督学习框架，也是AST的自监督学习框架的首次探索。
自监督学习在流式混合语音识别中有什么优势？
利用领域内未筛选数据进行自监督学习的表现比领域外其他预训练策略更好，能够在减少对大量文本数据依赖的同时，实现高效的流式混合语音识别。
自监督学习如何应用于音乐理解任务？
通过结合教师模型的音乐理解模型，利用留声机和Constant-Q Transform等多种教师模型的指导，将BERT-style transformer encoder更好地应用于音乐领域，提升了音乐检索等14项任务的表现。
