模型并行训练技术

陈少文的博客 · 2024-04-04T00:00:00Z

本文介绍了三种模型并行的训练方法：数据并行、张量并行和流水线并行。数据并行适用于大规模数据集的训练，将训练数据按batch维度划分到多个worker设备上并行计算。张量并行适用于巨大型模型，将模型的某些张量按行或列划分到不同设备上并行计算。流水线并行适用于序列数据的长模型训练，将整个模型按层划分为多个连续的阶段，每个阶段由一个设备负责计算。