阿里云开源通义千问Qweb2 支持128K上下文 在测试中表现不俗
内容提要
阿里云推出通义千问Qwen2系列模型，提供5个版本，表现不俗。模型能力较前版本提升，支持128K tokens，增加27种语言训练。Qwen2超过Llama3和Mixtral-8x22B，给Meta带来压力。模型经过微调，提升智能水平，对人类有帮助、诚实和安全。使用多种自动方法获取高质量指令和偏好数据，训练方面采用多种方法。
延伸解读
开源策略与模型尺寸覆盖
Qwen2系列完全开源，提供从0.5B到72B的5个版本，覆盖不同规模需求。小尺寸模型如0.5B和1.5B可在智能手机等低性能设备本地运行，无需云端处理，这符合AI向边缘设备发展的趋势。大尺寸模型则面向高性能场景，开发者可根据实际需求灵活选择。
技术改进：GQA与长上下文
Qwen2所有模型均采用GQA（分组查询注意力），相比Qwen1.5仅部分版本使用，这有助于提升推理能力并降低显存占用。同时，上下文长度最高支持128K tokens，能处理更长的文本输入，适合长文档理解等任务。这些改进提升了模型的实用性和效率。
性能表现与竞争影响
在开源模型评测中，Qwen2-72B超过Llama3-70B和Mixtral-8x22B，尤其在编程和数学方面显著提高。这给Meta带来压力，可能推动其加快新版本发布。阿里云与Meta成为开源社区重要贡献者，竞争促进模型能力快速迭代，开发者将受益于更多选择。
微调方法与对齐策略
阿里云AI团队通过精细微调提升模型智能水平，使其更接近人类表现。微调过程采用多种自动方法获取高质量指令和偏好数据，如数学拒绝采样、代码执行反馈、回译等，并结合有监督微调、反馈模型训练和在线DPO。这些方法在减少人工标注的同时，提升了模型的基础能力和对齐人类价值观。
Q&A
通义千问Qwen2模型有哪些版本？
通义千问Qwen2模型提供5个版本，分别是Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B。
Qwen2模型支持的上下文长度是多少？
Qwen2模型最高支持128K tokens的上下文长度。
Qwen2在编程和数学方面的能力如何？
Qwen2在编程和数学方面的能力显著提高，表现优于前版本。
Qwen2模型的微调过程是怎样的？
Qwen2模型经过精细微调，采用多种自动方法获取高质量指令和偏好数据，以提升智能水平。
Qwen2模型与Llama3的比较结果如何？
Qwen2-72B在评测中超过了Llama3-70B和Mixtral-8x22B，给Meta带来了压力。
阿里云的通义千问Qwen2模型是开源的吗？
是的，通义千问Qwen2模型是完全开源的，开发者可以通过GitHub等平台获取。
