结构之法 算法之道 · 2023-08-24T06:58:54Z 大模型并行训练指南：通俗理解Megatron-DeepSpeed之模型并行与数据并行 💡 原文中文，约11300字，阅读约需27分钟。 📝 内容提要 本文是关于在Jean Zay上训练Megatron-DeepSpeed模型的学习笔记。使用了384张NVIDIA A100 80GB GPU和32张备用GPU，采用了数据并行、张量并行和流水线并行等技术。训练过程中遇到了硬件故障和其他问题，但最终成功完成了训练。 🏷️ 标签 GPU Jean Zay Megatron-DeepSpeed 大模型 数据并行 流水线并行 阅读原文 生成长图 分享链接 已复制链接
