通过重叠激活重计算优化大型模型训练
内容提要
本文介绍了一种通过降低激活记录来加速大型Transformer模型训练的方法，提出了序列并行和选择性激活重算技术，显著减少了执行时间和激活存储器。同时，研究扩展了Mixture-of-Expert技术的重叠性挑战，提出新的并行计算方法以提升训练效率和吞吐量。此外，介绍了HiRE方案和Galvatron-BMW框架，用于优化模型训练和并行性策略。
延伸解读
激活重计算技术的实际收益
文章指出，序列并行和选择性激活重算技术几乎消除了重新计算激活的需要，减少了超过90%的执行时间开销，并实现了5倍的激活存储器减少。这意味着在训练大型Transformer模型时，可以显著降低内存占用和计算时间，从而支持更大模型的训练或更高效的资源利用。
MoE训练中的通信重叠优化
针对Mixture-of-Expert模型训练中的重叠性挑战，研究通过特定的分区和流水线技术实现了非MoE计算与all-to-all通信的重叠。Lancet系统将非重叠通信时间减少了最高77%，相比同类解决方案速度提升1.3倍。这有助于提升MoE模型的训练效率，减少通信瓶颈。
万亿参数模型的并行训练策略
文章提出了一种新的并行计算方法，结合并行、管道和数据并行，并探讨了不同并行方法之间的权衡。该方法在3072个GPU上完成了1万亿参数模型的训练，每个GPU吞吐量达到理论峰值的52%，相比现有方法提高了10%的吞吐量，且内存占用相当。这为超大规模模型训练提供了可行方案。
推理加速与训练压缩技术
HiRE方案通过压缩方案和高效的多设备近似top-k运算符，在10亿参数模型上几乎达到预训练和下游准确性匹配，并在单个TPUv5e设备上加速推理延迟1.47倍。此外，通过减小中间层宽度压缩深度线性网络，可加速训练过程超过两倍而不牺牲模型质量。这些技术有助于提升推理效率和降低训练成本。
Q&A
如何通过降低激活记录来加速大型Transformer模型的训练？
通过序列并行和选择性激活重算技术，几乎消除了重新计算激活的需要，显著减少了执行时间和激活存储器。
Mixture-of-Expert技术在训练中面临哪些挑战？
Mixture-of-Expert技术在训练过程中面临重叠性挑战，需通过特定的分区和流水线技术实现非MoE计算与all-to-all通信的重叠。
Galvatron-BMW框架的主要功能是什么？
Galvatron-BMW框架集成多种并行性维度，自动识别最高效的混合并行性策略，以优化模型训练。
HiRE方案如何加速推理延迟？
HiRE方案通过压缩方案和高效的多设备近似top-k运算符，显著加速了推理延迟，达到1.47倍的提升。
新的并行计算方法提高了多少吞吐量？
新的并行计算方法提高了10%的吞吐量，支持训练万亿参数模型。
如何通过压缩技术加速深度网络的训练？
通过减小中间层的宽度来压缩深度线性网络，实验证明这种技术能够加速训练过程超过两倍，而不牺牲模型质量。
