基于蟒蛇的语言模型的实证研究
内容提要
选择性状态空间模型（SSMs）如Mamba克服了Transformer的一些缺点，例如计算复杂度和内存需求。最近的研究显示，SSMs可以达到或超越Transformer的语言建模能力。8B参数的Mamba、Mamba-2和Transformer模型进行了比较，结果显示纯SSMs在许多任务上达到或超越了Transformer，但在需要强大的复制或上下文学习能力的任务上落后。相反，8B的Mamba-2-Hybrid在所有任务上超过了8B Transformer，并且在生成推理标记时速度最多快8倍。混合模型在额外的长期上下文任务中继续紧密匹配或超越了Transformer。
延伸解读
纯SSM的短板：复制与上下文学习
文章指出，纯SSM（如Mamba、Mamba-2）在需要强大复制或上下文学习能力的任务上落后于Transformer，例如5-shot MMLU和电话簿任务。这表明，尽管SSM在一般语言建模上表现优异，但在依赖精确记忆和快速适应新上下文的任务中，其能力仍有不足。读者需注意，纯SSM并非在所有场景下都能替代Transformer。
混合架构的全面优势
8B的Mamba-2-Hybrid在评估的所有12个标准任务上均超过8B Transformer，平均提升2.65个点，并且生成推理标记时速度最多快8倍。该混合架构由43%的Mamba-2、7%的注意力和50%的MLP层组成。这一结果说明，结合注意力机制的混合模型能兼顾效率与性能，是更具实用潜力的方向。
长上下文能力的验证
为了验证长期上下文能力，研究者额外评估了支持16K、32K和128K序列的Mamba-2-Hybrid和Transformer变体。在23个额外的长期上下文任务中，混合模型在平均水平上继续紧密匹配或超越了Transformer。这表明混合架构在长序列场景下同样具有竞争力，适合需要处理长文档或长对话的应用。
开源与可复现性
文章提到，为了进一步的研究，检查点以及用于训练模型的代码将作为NVIDIA的Megatron-LM项目的一部分发布。这意味着其他研究者可以基于这些资源进行复现和扩展实验，有助于推动SSM和混合架构的后续研究。读者可以关注Megatron-LM项目以获取最新进展。
Q&A
选择性状态空间模型（SSMs）有什么优势？
选择性状态空间模型（SSMs）如Mamba克服了Transformer的计算复杂度和内存需求，能够在语言建模能力上达到或超越Transformer。
Mamba-2-Hybrid模型的表现如何？
8B的Mamba-2-Hybrid在所有评估的任务上超过了8B Transformer，速度快8倍。
SSMs在什么任务上表现不佳？
纯SSMs在需要强大复制或上下文学习能力的任务上落后于Transformer，例如5-shot MMLU和电话簿任务。
这项研究比较了哪些模型？
研究比较了8B参数的Mamba、Mamba-2和Transformer模型，以及Mamba-2-Hybrid混合模型。
研究使用了多大的数据集？
数据集涵盖了多达3.5T个标记。
未来的研究计划是什么？
将发布用于训练模型的代码和检查点，作为NVIDIA的Megatron-LM项目的一部分。
