量子位
·
英伟达含量为零！华为密集模型性能比肩DeepSeek-R1，纯昇腾集群训练
💡
原文中文，约3200字，阅读约需8分钟。
📝
内容提要
华为的盘古Ultra模型在数学和编程任务中表现出色，参数量为135B，训练过程中未使用英伟达技术，且无损失尖峰。其改进的架构和优化策略使算力利用率超过52%。在多个基准任务中，盘古Ultra超越了其他大型模型，展现了卓越的语言理解和推理能力。
🎯
关键要点
-
华为的盘古Ultra模型参数量为135B，训练过程中未使用英伟达技术。
-
盘古Ultra在数学和编程任务中表现出色，算力利用率超过52%。
-
该模型在多个基准任务中超越了其他大型模型，展现了卓越的语言理解和推理能力。
-
盘古Ultra在预训练阶段的评测中，绝大部分英文基准任务和全部中文任务上取得最佳性能。
-
模型采用了“三明治”层归一化架构和TinyInit参数初始化策略，解决了训练不稳定性问题。
-
训练流程分为预训练、长上下文扩展和指令调优三个阶段，使用了8192个昇腾AI处理器的集群。
-
采用了多种并行策略和优化技术，确保了高效的训练过程和算力利用率。
➡️
