Mistral AI两连发：7B数学推理专用、Mamba2架构代码大模型
内容提要
法国独角兽Mistral AI发布了数学推理模型Mathstral和代码生成模型Codestral Mamba。Mathstral在基准测试中表现优异，Codestral Mamba在HumanEval测试中胜出。模型可免费使用，处理256,000个token的输入。
延伸解读
专用模型应对数学推理的挑战
文章提到，大语言模型在「9.11和9.9谁大」这类简单数字问题上可能出错，而Mathstral作为数学推理专用模型，在MATH数据集上达到56.6%的通过率，优于Minerva 540B。这表明针对复杂数学问题，专用模型可能比通用模型更可靠，但文章未验证Mathstral是否能解决该具体问题。
Mamba架构在代码生成中的效率优势
Codestral Mamba采用Mamba2架构，具有线性时间推理优势，理论上能处理无限长度序列，且不受输入长度限制。在HumanEval测试中，它优于CodeLlama 7B等开源模型。这种效率对代码生成尤为重要，但文章未提供具体性能数据对比。
开源协议与免费使用的实际影响
Mathstral和Codestral Mamba均遵循Apache 2.0协议，模型权重已在HuggingFace发布，可免费使用、修改和分发。Codestral Mamba还可通过Mistral的la Plateforme API免费使用，处理多达256,000个token的输入。这降低了研究和应用门槛，但需注意API可能有使用限制。
Q&A
Mathstral模型的主要功能是什么？
Mathstral模型专注于复杂的数学推理，能够处理高级数学问题。
Codestral Mamba模型的参数数量是多少？
Codestral Mamba模型具有70多亿个参数。
Mathstral在MATH数据集上的通过率是多少？
Mathstral在MATH数据集上的通过率为56.6%。
Codestral Mamba模型的开源协议是什么？
Codestral Mamba模型遵循Apache 2.0开源协议。
Mathstral模型的上下文窗口长度是多少？
Mathstral模型支持32k的上下文窗口长度。
Codestral Mamba在HumanEval测试中的表现如何？
Codestral Mamba在HumanEval测试中表现优于其他开源模型。
