通过渐进子网络实现高效的分步预训练
内容提要
本文综述多种加速Transformer语言模型训练的方法，包括渐进式层丢弃（节省24%时间、预训练提速2.5倍）、Apollo低价值优先采样与权重共享、复合缩放（使BERT预训练加快73.6%至82.2%），以及SRNets子网络、自适应随机路径选择、mRASP多语言预训练和ReLoRA低秩训练等，兼顾效率与性能。
延伸解读
效率提升的量化对比
文章汇总了多种加速Transformer训练的方法，并给出了具体数据：渐进式层丢弃平均节省24%时间，预训练提速2.5倍；复合缩放使BERT基本模型预训练加快73.6%，大模型加快82.2%。这些数字表明，不同方法在效率提升幅度上存在差异，读者可据此评估各技术的加速潜力。
效率与性能的平衡
文章强调，这些方法在加速训练的同时保持了性能。例如，渐进式层丢弃保持了强的知识可迁移性；复合缩放达到相当性能；SRNets不影响性能；ReLoRA性能与常规训练相当。这说明效率提升未必以牺牲性能为代价，但具体平衡点需结合任务和模型规模判断。
方法多样性与适用场景
文章涉及渐进式层丢弃、Apollo、复合缩放、SRNets、自适应随机路径选择、mRASP、ReLoRA等多种技术，分别针对训练加速、多语言预训练、低秩训练等场景。读者需注意，这些方法各有侧重，例如mRASP专注于多语言翻译，ReLoRA适用于大规模模型，选择时需匹配自身需求。
低秩训练的扩展性
ReLoRA在多达350M参数的预训练Transformer上验证，性能与常规训练相当，且效率随模型增大而提升，这使其成为训练多十亿参数网络的有前途方法。但文章也指出，低秩训练技术对缩放定律的影响仍需进一步研究，读者应关注其在大规模应用中的实际表现。
Q&A
渐进式层丢弃方法如何加速Transformer语言模型的训练？
渐进式层丢弃方法通过模型结构和训练技术的提升效率，加速了基于Transformer的语言模型的训练，相较于基准实验可以在每个样本上平均节省24%的时间，让预训练速度提高2.5倍，同时保持强的知识可迁移性。
Apollo方法在训练不同深度模型时采用了哪些技术？
Apollo方法使用低价值优先采样（LVPS）训练不同深度的模型，并使用权重共享来促进高效的扩展，通过插值方法实现稳定的模型深度扩展，既提高了训练效率，也降低了时间、财务和环境成本。
复合缩放方法对BERT预训练速度的提升效果如何？
复合缩放方法可以平衡模型的深度、宽度和输入的长度，并通过比较实验探索每个维度的替代增长操作，最终使BERT的预训练加快73.6%（基本模型）和82.2%（大模型），并达到相当的性能。
SRNets在预训练语言模型中的应用有哪些发现？
SRNets（细粒度子网络）在预训练语言模型（PLMs）中的应用，尤其是在处理Out-of-Distribution数据方面，对BERT模型进行了广泛的实验，结果表明SRNets在不影响性能的情况下可以通过不同的训练和压缩方法来实现。此外，在Out-of-Distribution数据中可以获得稀疏且几乎无偏差的BERT子网络。最后，提出了解决SRNets搜索过程中高效性的方法，并提出了改善子网络性能的解决方案。
mRASP多语言预训练方法有什么创新和效果？
mRASP是一种预训练通用多语言神经机器翻译模型的方法，通过其新颖的技术可以在表示空间中将具有相似含义的词和短语接近，并在32种语言对上进行了联合预训练，进而在下游语言对上进行微调，结果显示mRASP取得了显著的性能提升，并首次证明了多个低资源语言配对可以用于提高富资源机器翻译的质量，甚至可以提高从未在先前训练语料库中出现的外语的翻译质量。
ReLoRA低秩训练技术有什么特点和潜力？
ReLoRA是一种低秩训练技术，作为训练大型神经网络的替代方法，应用于多达350M参数的预训练transformer语言模型的训练，并证明了与常规神经网络训练相当的性能。与此同时，ReLoRA的效率随着模型大小的增加而增加，这使其成为高效训练多十亿参数网络的有前途的方法。
