为渐进式训练语言模型准备课程
内容提要
该文综述了多项提升Transformer语言模型训练效率的研究，包括渐进式层丢弃（节省24%时间、提速2.5倍）、CLP-Transfer跨语言渐进迁移、线性变换初始化（降低50%计算成本）、动态低秩重参数化、精心数据预训练、阶段训练与生长算子（节省22%算力）、AutoProg自适应进阶学习（加速达85.1%）、LEMON用预训练权重初始化缩放模型，并探讨主动学习中的数据效率问题。
延伸解读
渐进式训练的核心思路与收益
文章汇总的多项研究表明，渐进式训练通过动态调整模型结构或训练策略来提升效率。例如，渐进式层丢弃可节省24%训练时间并提速2.5倍；阶段训练与生长算子能节省22%算力；AutoProg自适应进阶学习在图像任务上加速达85.1%。这些方法共同指向一个趋势：不再固定模型规模从头训练，而是让模型在训练过程中逐步生长或调整，从而在保持性能的同时降低计算成本。
跨语言与初始化策略的迁移价值
CLP-Transfer将预训练模型从源语言渐进迁移到目标语言，不仅资源高效，还缩小了低资源语言的表现差距，且优于单纯的跨语言传输。线性变换初始化则用预训练参数初始化更大模型，减少高达50%计算成本。LEMON利用小模型权重初始化缩放模型，并设计专用学习率调度器，进一步降低训练时间和成本。这些方法说明，合理利用已有预训练权重和渐进迁移，是提升训练效率的重要途径。
数据效率与训练策略的警示
文章提到，精心策划的数据预训练能让phi-CTNL在多个学术基准上表现优异，并展现准确预测下游评估的能力。同时，关于主动学习的研究指出，不良训练策略可能对主动学习产生灾难性影响，而使用所有未标注数据适应目标任务并配合简单微调，能显著提升数据效率。这提示读者，数据质量与训练策略的选择同样关键，不能只关注模型结构优化。
Q&A
渐进式层丢弃方法能带来多少训练加速？
渐进式层丢弃方法相较于基准实验，在每个样本上平均节省24%的时间，使预训练速度提高2.5倍，同时保持强的知识可迁移性。
CLP-Transfer 是如何实现跨语言迁移的？
CLP-Transfer 是一种跨语言和渐进式迁移学习方法，将预训练模型从一个源语言转移到新的目标语言，实现资源高效的训练，并解决资源不足语言间的表现差距，效果优于单纯的跨语言传输。
线性变换初始化如何降低训练计算成本？
通过对预训练的 transformer 参数学习，使用线性变换因子初始化更大的模型，从而实现更快的 transformer 训练，并减少高达50%的计算成本。
基于阶段训练和生长算子的方法能节省多少算力？
该方法通过增加模型的深度和宽度以节省计算资源，并利用缩放定律和训练动态优化训练阶段，实验结果显示相比随机初始化的传统模型，能实现高达22%的计算资源节省。
AutoProg 自适应进阶学习能加速多少？
AutoProg 通过在训练过程中自适应决定模型的生长量、生长位置和生长方式，使训练快速加速且无性能下降。在 DeiT 和 VOLO 等模型上的 ImageNet 实验表明，训练加速高达85.1%。
LEMON 如何减少缩放模型的训练时间？
LEMON 利用较小但已预训练模型的权重来初始化缩放模型，并使用专门为缩放模型设计的优化学习率调度器进行训练，从而有效减少训练时间并降低计算成本。
