Mamba写代码真的超越Transformer！原始论文入选顶流新会议
内容提要
Mistral AI和Mamba合作开发了一个名为Codestral Mamba的开源模型，它是基于Mamba2架构的代码生成模型。与Transformer架构不同，Mamba架构允许线性时间推理，并理论上支持无限长度的输入。Codestral Mamba在基准测试中表现优异。Mistral AI还发布了一个名为Mathstral的新数学模型。Mathstral在各个学科中表现出色，并且可以在更多推理时间下取得更好的结果。
延伸解读
Mamba架构的突破与认可
Mamba架构由Tri Dao和Albert Gu提出，旨在解决Transformer处理长文本时算力消耗巨大的问题。其核心创新包括对输入信息的选择性处理、硬件感知算法和更简单的架构。Mamba初代论文曾被ICLR拒稿，但最近被CoLM2024接收，Mamba2论文也入选ICML 2024，表明该架构正获得学术界的认可。
Codestral Mamba的性能表现
Codestral Mamba在基准测试中总体性能超越CodeGemma-1.1 7B、CodeLlama 7B、DeepSeek v1.5 7B和CodeLlama 34B。不过，DeepSeek v1.5 7B在Spider、HumanEval Java、HumanEval Bash、MBPP等任务上优于Codestral Mamba，显示其性能并非全面领先。
Mathstral的推理时间优化
Mathstral在MATH基准上得分56.6%，MMLU达到63.47%。通过增加推理时间计算，其性能可进一步提升：使用多数投票机制时MATH得分68.37%，应用强效奖励模型时可达74.59%。这表明该模型在更多计算资源下能获得更好的结果。
Q&A
Codestral Mamba是什么模型？
Codestral Mamba是基于Mamba2架构的开源代码生成模型，由Mistral AI和Mamba合作开发。
Mamba架构与Transformer架构有什么不同？
Mamba架构支持线性时间推理，理论上可以处理无限长度的输入，而Transformer架构在处理长文本时算力消耗较大。
Codestral Mamba在基准测试中的表现如何？
Codestral Mamba在基准测试中表现优异，超越了多个现有模型，包括CodeGemma-1.1和CodeLlama。
Mathstral模型的主要应用领域是什么？
Mathstral模型专注于STEM领域，即科学、技术、工程和数学。
Mamba架构的创新点有哪些？
Mamba架构的创新点包括对输入信息的选择性处理、硬件感知的算法和更简单的架构设计。
Mamba2架构相比于初代Mamba有什么改进？
Mamba2架构在状态空间上扩大了8倍，训练速度提高了50%。
