该文综述了Tensor3D、P3、TeraPipe、CO2等分布式深度学习训练优化算法，通过优化通信、流水线并行和混合并行，显著缩短大模型训练时间并提升吞吐量，部分方法可在数千GPU上高效训练万亿参数模型。