阿里巴巴发布两款用于数学和语音聊天的开放权重语言模型

阿里巴巴发布了两个开放权重的语言模型系列：Qwen2-Math和Qwen2-Audio。Qwen2-Math是用于解决数学问题的LLM系列，Qwen2-Audio是一系列多模态LLM，可以接受语音或文本输入。这两个系列都基于阿里巴巴的Qwen2 LLM系列，除了Qwen2-Math的最大版本外，其他版本都可在Apache 2.0许可下使用。Qwen2-Math有基础版本和经过指导调优的版本，每个版本都有1.5B、7B或72B参数的选择。阿里巴巴在训练数据集上进行了去污染处理，以删除数学问题解决基准示例。阿里巴巴计划发布支持英语和中文的双语模型，并开发多语言模型。他们还将继续提升模型解决复杂和具有挑战性的数学问题的能力。阿里巴巴在GSM8K和AIME 2024等基准测试和数学考试中评估了Qwen2-Math，发现Qwen2-Math-Instruct在可比大小的其他基准模型中表现更好，特别是在1.5B和7B模型中。