💡 原文中文,约1300字,阅读约需3分钟。
📝

内容提要

阿里通义团队开源了新一代数学模型Qwen2-Math,包含1.5B、7B、72B三个参数的基础模型和指令微调模型。Qwen2-Math-72B-Instruct在MATH基准测评中的准确率达到84%,超过其他开源数学模型。Qwen2-Math基础模型使用Qwen2大语言模型进行初始化,并在数学专用语料库上进行预训练。研发团队训练了指令微调版本模型,通过奖励模型和二元信号进行学习。Qwen2-Math目前主要支持英文,但将推出中英双语版本和多语言版本。阿里通义团队希望通过开源模型为科学界解决高级数学问题做出贡献。

🎯

关键要点

  • 阿里通义团队开源新一代数学模型Qwen2-Math,包含1.5B、7B、72B三个参数的基础模型和指令微调模型。
  • 旗舰模型Qwen2-Math-72B-Instruct在MATH基准测评中准确率达到84%,超越其他开源数学模型。
  • Qwen2-Math基础模型使用Qwen2大语言模型进行初始化,并在数学专用语料库上进行预训练。
  • 研发团队训练了指令微调版本模型,结合奖励模型和二元信号进行学习。
  • Qwen2-Math目前主要支持英文,未来将推出中英双语版本和多语言版本。
  • 通义团队在多个数学基准测评集对模型进行了性能评估,Qwen2-Math-72B-Instruct在十大测评中表现优异。
  • 团队希望通过开源模型为科学界解决高级数学问题做出贡献,未来将持续增强模型的数学能力。
➡️

继续阅读