量子位
·
实测！Qwen下一代基础架构突袭！秒解AIME数学竞赛题，提速10倍+性价比提升10倍
💡
原文中文，约3400字，阅读约需8分钟。
📝
内容提要
Qwen3-Next模型发布，参数80B，训练成本低，推理速度提升10倍，超越Gemini-2.5-Flash-Thinking。核心改进包括混合注意力机制和高稀疏度MoE结构，支持多模态，具备快速解题和编程能力。
🎯
关键要点
- Qwen3-Next模型发布，参数80B，训练成本低，推理速度提升10倍。
- Qwen3-Next超越闭源模型Gemini-2.5-Flash-Thinking。
- 核心改进包括混合注意力机制、高稀疏度MoE结构、稳定性优化和多token预测机制。
- 混合注意力机制结合Gated DeltaNet和标准注意力，提升性能与效率。
- 高稀疏度MoE结构每次推理仅激活约30亿参数，最大化资源利用率。
- 训练稳定性优化采用Zero-Centered RMSNorm和权重衰减，确保模型稳定性。
- 多token预测机制提升了Speculative Decoding的接受率和整体性能。
- Qwen3-Next在推理效率上表现突出，吞吐量在长上下文中提升10倍以上。
- Qwen3-Next-80B-A3B-Instruct在256K超长上下文处理任务中表现显著优于其他模型。
- Qwen3-Next-80B-A3B-Thinking在多项基准测试中超越Gemini-2.5-Flash-Thinking。
- Qwen3-Next支持多模态，能够快速解题和编程，表现出色。
❓
延伸问答
Qwen3-Next模型的主要参数和特点是什么？
Qwen3-Next模型参数为80B，训练成本低，推理速度提升10倍，支持多模态，具备快速解题和编程能力。
Qwen3-Next与Gemini-2.5-Flash-Thinking相比有什么优势？
Qwen3-Next在多项基准测试中超越Gemini-2.5-Flash-Thinking，尤其在推理效率和长上下文处理上表现突出。
Qwen3-Next的核心改进有哪些？
Qwen3-Next的核心改进包括混合注意力机制、高稀疏度MoE结构、稳定性优化和多token预测机制。
Qwen3-Next在处理长上下文时的表现如何？
Qwen3-Next在长上下文处理上吞吐量提升超过10倍，尤其在256K超长上下文任务中表现显著优于其他模型。
Qwen3-Next的训练成本与性能之间的关系是什么？
Qwen3-Next的训练成本仅为Qwen3-32B的十分之一，但在性能上却显著优于后者，展现出高性价比。
Qwen3-Next如何实现高效的推理能力？
Qwen3-Next通过高稀疏度MoE结构和混合注意力机制，实现了每次推理仅激活约30亿参数，从而提高了推理效率。
➡️
