选择性状态空间模型（SSMs）如Mamba在许多任务上超越了Transformer，但在需要强大复制或长期推理的任务上表现较差。Mamba-2-Hybrid模型在所有评估任务中优于Transformer，并在生成推理时速度快8倍。未来将发布相关代码和检查点。

选择性状态空间模型（SSMs）如Mamba解决了Transformer的一些问题，如计算复杂度和内存需求。研究显示，SSMs在语言建模上可与Transformers媲美。比较8B参数的Mamba、Mamba-2和Transformer模型，发现纯SSMs在许多任务上表现优异，但在需要强复制或上下文学习的任务上不如Transformers。混合模型Mamba-2-Hybrid在所有任务中表现出色，速度更快，并在长期上下文任务中超越Transformer。研究结果和代码已发布。