变压器中的锐度差异原则以加速语言模型的预训练

本研究解决了变压器各个组件间的差异与相互作用理解不足的问题。论文提出了一种新的块级学习率策略，根据每个组件的锐度调整学习率，从而加快大型语言模型的预训练。研究结果表明，此方法能够使模型训练速度提升近2倍，并显著降低终期损失。