最强数学大模型易主！阿里千问新模型成绩超GPT-4o，网友：这才是真“草莓”
内容提要
阿里千问团队发布的Qwen2-Math模型超越了GPT-4o和Claude 3.5等闭源模型，能解决竞赛级试题。该模型有三个版本，其中72B版本在MATH数据集上比GPT-4o多得了7分。Qwen2-Math还挑战了中文数据集CMATH和高考试题，成绩明显提升。千问团队还微调了Instruct版本，取得了70%的准确率。Qwen2-Math能解决一些简单的竞赛级试题，成绩超过了先进模型Gemini 1.5 PRo等。目前主要针对英文场景，中英双语版本将在之后推出。
延伸解读
性能突破：小模型超越大模型
Qwen2-Math的7B版本在MATH数据集上超过了72B的开源数学模型NuminaMath，而1.5B的Instruct版本在零样本测试中取得了70%的准确率，高于70B的Llama 3.1。这表明数学专用训练能显著提升小模型的效率，让更小参数量的模型在特定任务上超越更大规模的通用模型。
数据去重：确保成绩真实性
为了减少测试成绩中的“水分”，千问团队从训练数据集中去除了所有与测试集重叠的部分，并采用13-gram去重策略，只要最长公共序列比率大于0.6就会被去除。后训练数据也剔除了Aqua、SAT Math等测试集，这种严格的数据处理增强了结果的可信度。
竞赛能力：从个位数到两位数
在AIME 24的30道题中，Qwen2-Math-72B-Instruct使用rm@256策略能答对11道，而GPT-4 Turbo、Claude 3 Opus和Gemini 1.5 Pro等模型只能做对一两道。最小的1.5B版本也能做对五道，超过了这些先进模型。这表明Qwen2-Math在解决简单竞赛级试题上具有明显优势。
使用限制：商用许可与语言支持
根据许可协议，Qwen2-Math对大部分用户免费商用，但72B版本如果月活跃用户超过1亿，需要申请许可。目前模型主要针对英文场景，中英双语版本将在之后推出。因此，中文用户需等待后续版本，而大型商业应用需注意许可条件。
Q&A
Qwen2-Math模型的主要优势是什么？
Qwen2-Math模型超越了多个闭源模型，包括GPT-4o和Claude 3.5，能够解决竞赛级试题。
Qwen2-Math模型有多少个版本？
Qwen2-Math模型有三个版本：72B、7B和1.5B。
Qwen2-Math在中文数据集上的表现如何？
Qwen2-Math在中文数据集CMATH和高考试题上取得了显著提升，1.5B版本的成绩超过了70B的Llama 3.1。
Qwen2-Math的训练数据包含哪些内容？
Qwen2-Math的训练数据包括高质量的数学文本、书籍、代码和考试题目。
Qwen2-Math的Instruct版本有什么特点？
Qwen2-Math的Instruct版本经过微调，取得了70%的准确率，表现优于70B的Llama 3.1。
Qwen2-Math模型的商业使用有什么限制？
72B版本的商业使用需申请许可，若月活跃用户超过1亿，则需要向千问团队申请许可。
