基于Transformer架构的Mamba模型通过改进状态空间模型（SSMs），实现了更快的推理速度和线性扩展，适用于语言、音频和基因组等多个模态。Graph-Mamba增强了图网络的长程上下文建模，SSAMBA在音频表示学习中表现优异。PointMamba在点云分析中超越传统模型，Mamba-ND扩展至多维数据，BlackMamba结合了SSM和MoE的优势。Zamba和SiMBA在性能上与领先模型相当，Samba在高分辨率遥感图像分割中设立新基准。

本文综述音频自监督学习进展：提出ATST模型实现分段级音频自监督学习，在多项下游任务中表现最佳；ATST-Clip与ATST-Frame分别学习剪辑级和帧级表示，后者在音频帧事件检测上达到最先进水平；改进SSAST并引入MAE编码器-解码器结构，使预训练提速3倍、内存降低2倍；首次将补丁式自监督框架用于AST；并涉及音视频高效自监督、情感识别、流式语音识别及音乐理解等应用。