InfoQ
·
阿里巴巴发布两款用于数学和语音聊天的开放权重语言模型
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
阿里巴巴发布了两个开放权重的语言模型系列：Qwen2-Math和Qwen2-Audio。Qwen2-Math是用于解决数学问题的LLM系列，Qwen2-Audio是一系列多模态LLM，可以接受语音或文本输入。这两个系列都基于阿里巴巴的Qwen2 LLM系列，除了Qwen2-Math的最大版本外，其他版本都可在Apache 2.0许可下使用。Qwen2-Math有基础版本和经过指导调优的版本，每个版本都有1.5B、7B或72B参数的选择。阿里巴巴在训练数据集上进行了去污染处理，以删除数学问题解决基准示例。阿里巴巴计划发布支持英语和中文的双语模型，并开发多语言模型。他们还将继续提升模型解决复杂和具有挑战性的数学问题的能力。阿里巴巴在GSM8K和AIME 2024等基准测试和数学考试中评估了Qwen2-Math，发现Qwen2-Math-Instruct在可比大小的其他基准模型中表现更好，特别是在1.5B和7B模型中。
🎯
关键要点
- 阿里巴巴发布了两个开放权重的语言模型系列：Qwen2-Math和Qwen2-Audio。
- Qwen2-Math专注于解决数学问题，Qwen2-Audio支持语音和文本输入。
- Qwen2-Math有基础版本和经过指导调优的版本，参数选择为1.5B、7B或72B。
- 阿里巴巴对训练数据集进行了去污染处理，以删除数学问题解决基准示例。
- Qwen2-Math-72B-Instruct在MATH基准测试中表现优于GPT-4o和Claude-3.5-Sonnet等商业模型。
- 阿里巴巴计划发布支持英语和中文的双语模型，并开发多语言模型。
- Qwen2-Math在GSM8K和AIME 2024等基准测试中表现优异，特别是在1.5B和7B模型中。
- Qwen2-Math-72B在中文数学考试基准CMATH中获得86.4的高分，创下新高。
- Qwen2-Audio模型接受文本和音频输入，但仅能输出文本。
- Qwen2-Audio有两种模式：语音聊天和音频分析。
- 用户在Reddit上讨论了这两个模型系列，认为Qwen2-Math-7B表现出色。
- Qwen2-Math和Qwen2-Audio的模型文件可以从Huggingface下载。
🏷️
标签
➡️
