阿里巴巴发布两款用于数学和语音聊天的开放权重语言模型
内容提要
阿里巴巴发布了两个开放权重的语言模型系列：Qwen2-Math和Qwen2-Audio。Qwen2-Math是用于解决数学问题的LLM系列，Qwen2-Audio是一系列多模态LLM，可以接受语音或文本输入。这两个系列都基于阿里巴巴的Qwen2 LLM系列，除了Qwen2-Math的最大版本外，其他版本都可在Apache 2.0许可下使用。Qwen2-Math有基础版本和经过指导调优的版本，每个版本都有1.5B、7B或72B参数的选择。阿里巴巴在训练数据集上进行了去污染处理，以删除数学问题解决基准示例。阿里巴巴计划发布支持英语和中文的双语模型，并开发多语言模型。他们还将继续提升模型解决复杂和具有挑战性的数学问题的能力。阿里巴巴在GSM8K和AIME 2024等基准测试和数学考试中评估了Qwen2-Math，发现Qwen2-Math-Instruct在可比大小的其他基准模型中表现更好，特别是在1.5B和7B模型中。
延伸解读
开源许可与模型规模
Qwen2-Math 和 Qwen2-Audio 均基于 Qwen2 系列，但许可条款不同：除 Qwen2-Math 的最大版本外，其他版本均采用 Apache 2.0 许可。Qwen2-Math 提供基础版和指令调优版，参数规模有 1.5B、7B 和 72B 可选。这种梯度设计让开发者能根据算力选择合适尺寸，而 Apache 2.0 许可则降低了商用门槛。
数学能力与基准表现
阿里巴巴对训练数据进行了去污染处理，移除了数学基准示例，以避免评估失真。在 MATH 基准上，Qwen2-Math-72B-Instruct 超越了 GPT-4o 和 Claude-3.5-Sonnet 等商业模型；在 GSM8K 和 AIME 2024 等测试中，1.5B 和 7B 版本也优于同规模基线。此外，72B 版本在中文数学考试基准 CMATH 上获得 86.4 分，创下新高。
语音交互的两种模式
Qwen2-Audio 支持文本和音频输入，但仅输出文本。根据输入类型，模型可切换两种模式：语音聊天模式下，用户提供语音，模型作为聊天机器人回应；音频分析模式下，模型能回答关于音频内容的问题，例如识别音乐的节奏和调性。这种设计扩展了多模态交互的应用场景，但输出仍限于文本。
社区反响与未来方向
Reddit 用户认为 Qwen2-Math-7B 在同尺寸中表现突出，并对 Qwen2-Audio 的音频合成潜力感兴趣，认为若成功可本地实现类似 GPT-4o 的高级语音模式。吴恩达的 The Batch newsletter 评价称，开放权重模型超越专有模型令人振奋。阿里巴巴计划很快发布支持中英双语的双语模型，并开发多语言模型，同时继续提升解决复杂数学问题的能力。
Q&A
Qwen2-Math模型的主要功能是什么？
Qwen2-Math模型专注于解决数学问题，提供多种参数选择。
Qwen2-Audio模型支持哪些输入方式？
Qwen2-Audio模型支持文本和语音输入，但仅能输出文本。
阿里巴巴如何评估Qwen2-Math的性能？
阿里巴巴在GSM8K和AIME 2024等基准测试中评估Qwen2-Math，发现其表现优异。
Qwen2-Math的参数选择有哪些？
Qwen2-Math提供1.5B、7B和72B三种参数选择。
阿里巴巴计划如何扩展Qwen2模型的语言支持？
阿里巴巴计划发布支持英语和中文的双语模型，并开发多语言模型。
Qwen2-Math在CMATH基准测试中的表现如何？
Qwen2-Math-72B在CMATH基准测试中获得86.4的高分，创下新高。
