本论文提出了一种新的并行计算方法，可以使模型达到拥有万亿参数的级别，并提高了吞吐量。在3072个GPU上完成了1万亿参数模型的训练，每个GPU的吞吐量达到了理论峰值的52%。

分布式基础架构下的模型并行性研究：从理论到 LLM 案例研究
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证