本文综述自适应批大小与学习率优化方法：通过估计梯度方差动态调整批大小，可消除学习率衰减需求并加快收敛。相关方法（如AdaBatchGrad、AdaScale SGD、AdaBatch）在图像分类、机器翻译、BERT预训练等任务中提升训练效率与稳定性，且计算开销低、无需新增超参数。

本文介绍了一种在异构GPU集群中具有自适应批大小的延迟同步随机梯度下降（ABS-SGD）算法，通过全局同步来积累延迟的梯度并更新参数，实现了计算资源的充分利用，并在异构集群中具有收敛性。