本文研究了一种线性复杂度的自监督学习（SSL）上下文编码器，通过改进 SummaryMixing 模型，在 MP3S 基准测试的下游任务中达到更好或相等的性能，同时减少了预训练时间和峰值 VRAM，使得 155M wav2vec 2.0 模型的预训练在一周内完成。