AdaScale SGD 是一种适应大批量训练学习率的算法，通过调整梯度方差加速训练并保持模型质量。该算法无需新超参数，适合大规模训练。此外，研究还提出了 SIBERT 版本的 BERT 和 AdaGrad-Norm 方法，显著降低通信开销，提高收敛性，适用于非凸光滑函数。

本文介绍了一种通过修改网络结构实现缩放不变的通用方法，并使用SGD和权重衰减进行训练。作者设计了一种名为SIBERT的缩放不变的BERT版本，其性能与使用Adam等自适应方法训练的BERT相媲美。