该文综述多种自适应梯度优化算法：MADGRAD在视觉与NLP任务上优于SGD和Adam；Admeta结合SGD与Adam并采用动态前瞻策略；AvaGrad解耦学习率与自适应性；AdamL引入损失信息并具线性收敛性；AdaX积累历史梯度以避免局部极小；Adam高效省内存，适合大规模与稀疏梯度问题；此外还有记忆增强Adam、分布式Dadam及超级Adam等改进。