一文通透想颠覆Transformer的Mamba：从SSM、HiPPO、S4到Mamba
💡
原文中文，约3300字，阅读约需8分钟。
📝
内容提要
本文介绍了一种新的注意力模型Mamba，它基于SSM架构，具有线性复杂度和5倍推理吞吐量。Mamba在多个模态上表现出SOTA水平，在预训练和下游任务上都优于同类模型。作者认为Mamba是通用序列模型骨干的有力候选者。
🎯
关键要点
- Mamba是一种新的注意力模型，基于SSM架构，具有线性复杂度和5倍推理吞吐量。
- Mamba在多个模态上表现出SOTA水平，优于同类模型。
- Transformer的计算复杂度与序列长度的平方成正比，导致处理长文本时算力消耗巨大。
- Mamba在语言、音频和DNA序列模态上实现了SOTA，尤其在语言任务上超越同等规模的Transformer。
- Mamba的创新包括选择性处理信息、硬件感知算法和更简单的SSM架构。
- Mamba通过参数化SSM的输入设计选择机制，能够过滤不相关信息并记住相关信息。
- Mamba使用扫描而非卷积进行循环计算，避免了GPU内存层次结构的IO访问。
- Mamba的架构结合了门控MLP和现代神经网络的基础块，形成新的Mamba块。
- 在Chinchilla缩放定律下预训练时，Mamba在语言任务上优于同类开源模型。
- Mamba是第一个真正实现匹配Transformer性能的线性时间序列模型，表现出一定的通用性。
➡️
