T3: 透明化追踪与触发技术用于计算和集合的细粒度叠加
内容提要
该文综述了Tensor3D、P3、TeraPipe、CO2等分布式深度学习训练优化算法，通过优化通信、流水线并行和混合并行，显著缩短大模型训练时间并提升吞吐量，部分方法可在数千GPU上高效训练万亿参数模型。
延伸解读
通信优化：Tensor3D与P3的对比
Tensor3D通过智能参数分布和超分解优化通信，在256个A100 GPU上训练28B参数CNN，相比Megatron-LM缩短近60%时间。P3则优化参数同步与计算的交替，在ResNet-50、Sockeye和VGG-19上分别提升吞吐量25%、38%和66%。两者均针对通信延迟，但Tensor3D侧重三维并行下的通信模型，P3聚焦数据并行的同步机制。
流水线并行：TeraPipe的细粒度创新
TeraPipe在单个训练序列内执行流水线并行，利用动态规划实现同步模型并行训练。在48个p3.16xlarge实例的AWS集群上，训练1750亿参数的GPT-3模型速度提升5.0倍，优于最先进的模型并行方法。其核心在于更细粒度的流水线划分，减少空闲时间，为超大规模语言模型训练提供高效方案。
混合并行与通信压缩：CO2及动态阈值框架
CO2通过局部更新和异步通信实现数据并行训练的完全重叠，并引入过时惩罚和外部动能裁剪以保持收敛性和稳定性，在800Gbps RDMA和80Gbps TCP/IP集群上均展现可扩展性。另一混合并行框架采用动态通信阈值压缩，将数据并行和模型并行的通信量分别降至1%和5%，且不降低性能。两者从不同角度解决通信瓶颈。
万亿参数训练：并行策略的权衡与扩展
一项研究探讨了并行、管道和数据并行之间的权衡，在3072个GPU上完成1万亿参数模型训练，每个GPU吞吐量达理论峰值52%，内存占用与现有方法相当，吞吐量提升10%。这表明混合并行策略能有效扩展至万亿规模，但需平衡通信、内存和计算效率。
Q&A
Tensor3D 算法如何优化分布式深度学习训练？
Tensor3D 通过智能神经网络参数分布、并行训练过程的超分解以及通信模型来优化通信，最小化通信引起的空闲时间。相较于 Megatron-LM，它将 28B 参数 CNN 在 256 个 A100 GPU 上的训练时间缩短了近 60%。
P3 同步机制在数据并行训练中有什么作用？
P3 是一种新型同步机制，通过优化参数同步和计算之间的交替来最小化通信延迟，从而提高数据并行训练的性能。在 ResNet-50、Sockeye 和 VGG-19 等模型上，训练吞吐量分别提升了高达 25%、38% 和 66%。
TeraPipe 如何提升 GPT-3 模型的训练速度？
TeraPipe 在单个训练序列中执行流水线并行处理，并采用基于动态规划的算法进行同步模型并行训练。它能在使用 48 个 p3.16xlarge 实例的 AWS 集群上，将 1750 亿参数的 GPT-3 模型训练速度提高 5.0 倍，相比最先进的模型并行方法具有更细粒度的流水线并行处理。
CO2 方法如何实现分布式数据并行训练的可扩展性？
CO2 通过引入局部更新和异步通信实现分布式数据并行训练的完全重叠，从而实现大规模训练的高可扩展性。它还提出了过时惩罚和外部动能裁剪技术来降低收敛性和训练稳定性。实验表明，CO2 在 800Gbps RDMA 或 80Gbps TCP/IP 的集群中都能大幅提高可扩展性。
有哪些方法可以在数千 GPU 上训练万亿参数模型？
文章提到一种新的并行计算方法（并行、管道、数据并行），探讨了不同并行计算方法之间的权衡取舍，可使模型达到万亿参数级别，提高了 10% 的吞吐量，并在 3072 个 GPU 上完成了 1 万亿参数模型的训练，每个 GPU 的吞吐量达到了理论峰值的 52%。
TernGrad 如何加速分布式深度学习训练？
TernGrad 使用三元梯度来加速数据并行的分布式深度学习，结果表明可以在不损失准确率的前提下缩减通信时间并提高收敛性能，使得多种深度神经网络的速度显著提升。
