量子位
·
英伟达含量为零！华为密集模型性能比肩DeepSeek-R1，纯昇腾集群训练
内容提要
华为的盘古Ultra模型在数学和编程任务中表现出色，参数量为135B，训练过程中未使用英伟达技术，且无损失尖峰。其改进的架构和优化策略使算力利用率超过52%。在多个基准任务中，盘古Ultra超越了其他大型模型，展现了卓越的语言理解和推理能力。
关键要点
-
华为的盘古Ultra模型参数量为135B，训练过程中未使用英伟达技术。
-
盘古Ultra在数学和编程任务中表现出色，算力利用率超过52%。
-
该模型在多个基准任务中超越了其他大型模型，展现了卓越的语言理解和推理能力。
-
盘古Ultra在预训练阶段的评测中，绝大部分英文基准任务和全部中文任务上取得最佳性能。
-
模型采用了“三明治”层归一化架构和TinyInit参数初始化策略，解决了训练不稳定性问题。
-
训练流程分为预训练、长上下文扩展和指令调优三个阶段，使用了8192个昇腾AI处理器的集群。
-
采用了多种并行策略和优化技术，确保了高效的训练过程和算力利用率。
延伸解读
模型架构的创新
盘古Ultra采用了“三明治”层归一化架构和TinyInit参数初始化策略，这些创新显著提升了模型的训练稳定性和收敛速度。传统的归一化方法在深度模型中容易导致不稳定，而新架构通过对输出进行归一化，有效消除了训练过程中的损失尖峰，确保了更平稳的训练体验。
训练流程的高效性
盘古Ultra的训练流程分为预训练、长上下文扩展和指令调优三个阶段，采用8192个昇腾AI处理器的集群进行训练。通过多种并行策略和优化技术，模型实现了超过52%的算力利用率。这种高效的训练方式不仅加快了模型的开发进程，也为后续的应用提供了强有力的支持。
与其他模型的比较
在多个基准任务中，盘古Ultra的表现超越了包括Llama 405B和DeepSeek-V3等其他大型模型，尤其在数学和编程任务上展现了卓越的推理能力。这表明，华为的技术进步使其在AI领域的竞争力显著提升，能够与更大参数量的模型如DeepSeek-R1相抗衡。
延伸问答
华为的盘古Ultra模型参数量是多少？
盘古Ultra模型的参数量为135B。
盘古Ultra在训练过程中使用了哪些技术？
盘古Ultra采用了“三明治”层归一化架构和TinyInit参数初始化策略等技术。
盘古Ultra在数学和编程任务中的表现如何？
盘古Ultra在数学和编程任务中表现出色，展现了卓越的语言理解和推理能力。
盘古Ultra的训练流程分为哪几个阶段？
训练流程分为预训练、长上下文扩展和指令调优三个阶段。
盘古Ultra的算力利用率是多少？
盘古Ultra的算力利用率超过52%。
盘古Ultra与DeepSeek-R1的竞争情况如何？
盘古Ultra与DeepSeek-R1等参数量更大的MoE模型竞争激烈，表现相当。
