去除平方根：AdaGrad 的新高效的尺度不变版本
内容提要
AdaScale SGD 是一种适应大批量训练学习率的算法，通过调整梯度方差加速训练并保持模型质量。该算法无需新超参数，适合大规模训练。此外，研究还提出了 SIBERT 版本的 BERT 和 AdaGrad-Norm 方法，显著降低通信开销，提高收敛性，适用于非凸光滑函数。
延伸解读
AdaScale SGD 的实用价值
AdaScale SGD 能自动适应大批量训练的学习率，无需引入新超参数，且计算开销可忽略。这意味着在机器翻译、图像分类等任务中，即使批量增大、迭代减少，它也能保持模型质量。对于希望利用大规模分布式训练加速研发的团队，这是一个低门槛且可靠的选择。
SIBERT：缩放不变的 BERT 变体
文章介绍了通过修改网络结构使其缩放不变，并用 SGD 和权重衰减训练的通用方法，由此设计的 SIBERT 在性能上可与使用 Adam 等自适应方法训练的 BERT 相媲美。这为偏好 SGD 的实践者提供了新思路，同时该方法还能节省内存，适合资源受限的场景。
AdaGrad-Norm 的收敛性与易用性
AdaGrad-Norm 不需要微调步长计划，对光滑非凸函数具有收敛性和健壮性。研究表明，在相同假设下，其收敛速度与最佳调优的非自适应 SGD 相当，且无需调整参数。这降低了超参数调优的负担，尤其适合缺乏专家经验或需要快速部署的项目。
降低通信开销的 SGD 变体
一种新的 SGD 变体算法通过降低通信开销并提高自适应学习率，在 1B 字数据集上缩短了 30% 的训练时间。对于大规模分布式训练，通信往往是瓶颈，该算法能显著提升效率。此外，批量大小不变的 Adam 版本也为大规模分布式环境提供了优化选择。
Q&A
AdaScale SGD 是什么？
AdaScale SGD 是一种适应大批量训练学习率的算法，通过调整梯度方差加速训练并保持模型质量。
AdaScale SGD 的优势是什么？
该算法无需新超参数，适合大规模训练，并引入可忽略的计算开销。
SIBERT 版本的 BERT 有什么特点？
SIBERT 是一种缩放不变的 BERT 版本，其性能可与使用 Adam 等自适应方法训练的 BERT 相媲美。
AdaGrad-Norm 方法的主要特点是什么？
AdaGrad-Norm 不需要微调步长计划，具有收敛性和健壮性，适用于光滑的非凸函数。
新提出的 SGD 变体算法有什么效果？
该算法显著降低了通信开销，缩短了大数据集的训练时间。
Ada-LR 和 RadaGrad 有什么不同？
Ada-LR 和 RadaGrad 是两种有效的逼近全矩阵 AdaGrad 的算法，RadaGrad 在卷积神经网络和循环神经网络的训练中能够实现更快的收敛速度。
