量子位
·
蚂蚁国产GPU训练大模型细节曝光！Ling模型研发负责人回应
💡
原文中文，约5000字，阅读约需12分钟。
📝
内容提要
蚂蚁公司Ling模型研发负责人表示，国产GPU训练大模型的成本与英伟达相当或更低。近期技术论文显示，蚂蚁的MoE大模型在国产GPU上实现高效训练，受到广泛关注。张志强分享了训练过程中的经验，强调训练稳定性和成本优化的重要性，并指出国产加速卡的潜力。
🎯
关键要点
- 蚂蚁公司Ling模型研发负责人表示，国产GPU训练大模型的成本与英伟达相当或更低。
- 蚂蚁的MoE大模型在国产GPU上实现高效训练，受到广泛关注。
- 张志强分享了训练过程中的经验，强调训练稳定性和成本优化的重要性。
- 国产加速卡的潜力被指出，训练成本优化是无止境的。
- Ling模型的训练过程展示了国产加速卡的训练成本与GPU相当甚至更低。
- 训练正确性对齐是大规模MoE LLM在多个算力平台上无缝切换训练的关键。
- Router TP（Tensor Parallelism）bug修复是解决模型收敛问题的重要步骤。
- NormHead的迁移和优化有助于保证训练的稳定性和loss收敛。
- 针对loss和grad的尖刺处理机制被设计以缓解训练不稳定问题。
- 成本计算方法基于学术界通行的标准，确保了训练单位token量的成本计算准确。
- Ling模型的发布是一个里程碑，未来将继续改进并开源更多工作。
❓
延伸问答
国产GPU训练大模型的成本如何与英伟达相比？
国产GPU训练大模型的成本与英伟达相当或更低。
Ling模型的训练过程中有哪些关键经验？
训练正确性对齐、Router TP bug修复和训练稳定性是关键经验。
国产加速卡在训练大模型时的潜力如何？
国产加速卡的训练成本与GPU相当甚至更低，具有很大潜力。
Ling模型的发布有什么重要意义？
Ling模型的发布标志着国产大模型训练的一个里程碑，未来将继续改进并开源更多工作。
在训练过程中如何处理loss和grad的尖刺？
通过设计尖刺处理机制，监控loss和grad，异常时跳过训练步骤。
Ling模型的训练成本计算方法是什么？
成本计算基于学术界通行的标准，依据真实训练记录和单位时间成本进行计算。
➡️
