内容提要
阿里通义团队开源了新一代数学模型Qwen2-Math，包含1.5B、7B、72B三个参数的基础模型和指令微调模型。Qwen2-Math-72B-Instruct在MATH基准测评中的准确率达到84%，超过其他开源数学模型。Qwen2-Math基础模型使用Qwen2大语言模型进行初始化，并在数学专用语料库上进行预训练。研发团队训练了指令微调版本模型，通过奖励模型和二元信号进行学习。Qwen2-Math目前主要支持英文，但将推出中英双语版本和多语言版本。阿里通义团队希望通过开源模型为科学界解决高级数学问题做出贡献。
关键要点
-
阿里通义团队开源新一代数学模型Qwen2-Math，包含1.5B、7B、72B三个参数的基础模型和指令微调模型。
-
旗舰模型Qwen2-Math-72B-Instruct在MATH基准测评中准确率达到84%，超越其他开源数学模型。
-
Qwen2-Math基础模型使用Qwen2大语言模型进行初始化，并在数学专用语料库上进行预训练。
-
研发团队训练了指令微调版本模型，结合奖励模型和二元信号进行学习。
-
Qwen2-Math目前主要支持英文，未来将推出中英双语版本和多语言版本。
-
通义团队在多个数学基准测评集对模型进行了性能评估，Qwen2-Math-72B-Instruct在十大测评中表现优异。
-
团队希望通过开源模型为科学界解决高级数学问题做出贡献，未来将持续增强模型的数学能力。
延伸问答
Qwen2-Math模型有哪些参数版本？
Qwen2-Math模型包含1.5B、7B和72B三个参数版本。
Qwen2-Math-72B-Instruct在MATH基准测评中的表现如何？
Qwen2-Math-72B-Instruct在MATH基准测评中的准确率达到84%，超过其他开源数学模型。
Qwen2-Math模型是如何进行预训练的？
Qwen2-Math基础模型使用Qwen2大语言模型进行初始化，并在数学专用语料库上进行预训练。
Qwen2-Math模型的指令微调版本是如何训练的？
指令微调版本模型结合奖励模型和二元信号进行学习，使用拒绝采样构建监督微调数据。
Qwen2-Math模型支持哪些语言？
Qwen2-Math目前主要支持英文，未来将推出中英双语版本和多语言版本。
通义团队希望通过Qwen2-Math模型实现什么目标？
通义团队希望通过开源模型为科学界解决高级数学问题做出贡献。
