Blog on Qwen
·
Qwen1.5-110B：Qwen1.5系列的首个千亿参数开源模型
💡
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
Qwen1.5-110B是首个超过1000亿参数的开源模型，其性能与Meta-Llama3-70B相当，尤其在Chat评估中表现优异。该模型采用高效的Transformer架构，支持多种语言，具有32K tokens的上下文长度。与72B模型相比，110B在多个基准测试中显著提升，显示出模型规模扩展的潜力。
🎯
关键要点
-
Qwen1.5-110B是首个超过1000亿参数的开源模型。
-
该模型在基础能力评估中与Meta-Llama3-70B相媲美，尤其在Chat评估中表现优异。
-
Qwen1.5-110B采用高效的Transformer架构，支持32K tokens的上下文长度，且支持多种语言。
-
与72B模型相比，110B在多个基准测试中显著提升，显示出模型规模扩展的潜力。
-
评估结果表明，110B模型在Chat模型的基准评估中表现显著更好，显示出更强大的基础语言模型可以带来更好的Chat模型。
❓
延伸问答
Qwen1.5-110B模型的参数数量是多少？
Qwen1.5-110B模型的参数数量超过1000亿。
Qwen1.5-110B与Meta-Llama3-70B的性能比较如何？
Qwen1.5-110B在基础能力评估中与Meta-Llama3-70B相媲美，尤其在Chat评估中表现优异。
Qwen1.5-110B支持哪些语言？
Qwen1.5-110B支持多种语言，包括英语、中文、法语、西班牙语、德语、俄语、日语、韩语和越南语等。
Qwen1.5-110B的上下文长度是多少？
Qwen1.5-110B支持32K tokens的上下文长度。
Qwen1.5-110B在Chat模型评估中的表现如何？
在MT-Bench和AlpacaEval 2.0的Chat评估中，Qwen1.5-110B表现显著更好，平均得分和胜率均高于72B模型。
Qwen1.5-110B的架构特点是什么？
Qwen1.5-110B采用高效的Transformer架构，并包含分组查询注意力（GQA），提高了推理效率。
🏷️
标签
➡️
