文章主题为Mamba状态空间模型。作者指出Transformer难以进行内容导向推理，提出让SSM参数随输入变化的选择性机制，并设计硬件感知并行算法。Mamba推理速度比Transformer快5倍，序列长度线性扩展，在语言、音频、基因组等模态达到最先进水平；Mamba-3B优于同规模Transformer，媲美两倍规模模型。后续工作将混合专家用于SSM，MoE-Mamba以2.2倍训练步数达到同等性能。