AdaPlus: 将 Nesterov 动量和精确的步长调整与 AdamW 基础相结合

Adam是一种用于基于梯度的随机目标函数优化的算法，具有易于实现、计算效率高、占用内存少等优点。它适用于数据和参数较大、非平稳目标、存在噪声和稀疏梯度的问题。实证结果表明Adam在实践中效果良好，并且与其他随机优化方法相比具有优势。此外，还讨论了一种基于无穷范数的Adam变体AdaMax，并分析了该算法的理论收敛性质。