本文介绍状态空间模型（SSM）如何通过固定大小状态压缩历史，解决Transformer长序列瓶颈。S4用HiPPO矩阵实现长程记忆，Mamba引入选择性机制按内容更新状态，并用并行扫描保持训练效率。推理时SSM显存O(1)优于KV Cache，但在精确检索任务上受容量限制。SSD揭示SSM与注意力对偶，混合架构如Jamba平衡两者优势。

文章主题为Mamba状态空间模型。作者指出Transformer难以进行内容导向推理，提出让SSM参数随输入变化的选择性机制，并设计硬件感知并行算法。Mamba推理速度比Transformer快5倍，序列长度线性扩展，在语言、音频、基因组等模态达到最先进水平；Mamba-3B优于同规模Transformer，媲美两倍规模模型。后续工作将混合专家用于SSM，MoE-Mamba以2.2倍训练步数达到同等性能。