长文本生成 AI 的统一序列并行算法
原文中文,约300字,阅读约需1分钟。发表于: 。通过比较序列并行性的通信和内存成本,本文提出了一种统一的序列并行性方法,适用于 Transformer 模型架构和网络硬件拓扑,实现了对长序列的生成 AI 模型的更好性能。
该论文介绍了一种使用LSS Transformer进行分布式训练的方法,通过将长序列分布到多个GPU上进行计算,并使用融合通信和双梯度平均技术,提高了训练效率和减少通信开销。在Wikipedia enwik8数据集上,该方法在144个Nvidia V100 GPU上实现了5.6倍的加速和10.2倍的内存效率。在3,456个GPU上可扩展到长度达到50,112的极限序列,实现了161%的超线性并行效率和32 petaflops的吞吐量。