自适应随机梯度下降优化方法 (包括 Adam) 在非零学习率下的非收敛性
内容提要
本文研究了经验估计的学习率自适应方法在随机梯度下降（SGD）中的应用，分析了多种自适应梯度算法在非凸优化问题中的收敛性。研究表明，合适的学习率和算法选择对深度神经网络的训练效果至关重要，某些自适应方法可能导致更差的结果。
延伸解读
自适应优化方法的收敛性争议
文章指出，尽管自适应梯度方法（如Adam、RMSprop）在非凸优化中能收敛到一阶稳定点，但在浅层ReLU网络中，SGD及其自适应变体高概率无法收敛到全局最小值。这揭示了优化空间存在分层局部最小值的结构，意味着自适应方法可能陷入次优解，实践者需警惕其理论保证的局限性。
恒定学习率与衰减学习率的性能对比
在文本和图像分类实验中，使用恒定学习率比衰减学习率表现更佳。这一发现挑战了传统认知，表明学习率调度并非总是有益。对于自适应优化算法，恒定学习率可能更有效地近似非凸问题的固定点，但需注意实验条件的具体设置。
自适应方法在深度网络训练中的实际表现
研究显示，自适应优化方法在训练深度神经网络时，结果往往比梯度下降方法更差，甚至可能导致更糟糕的性能。这提示实践者应重新考虑自适应方法的使用场景，尤其是在超参数调优不充分时，传统SGD可能更可靠。
动量与长期记忆对收敛性的改进
为Adam算法引入长期记忆过去梯度的方法，不仅能解决收敛问题，还常提升实验性能。此外，Delayed AdaGrad with momentum在弱假设下可高概率收敛于全局最优解。这些改进为自适应方法在非凸优化中的理论支持提供了新方向。
Q&A
自适应学习率方法在随机梯度下降中的作用是什么？
自适应学习率方法可以提高随机梯度下降的优化效果，但在某些情况下可能导致更差的结果。
为什么使用恒定学习率的性能优于衰减学习率？
研究表明，使用恒定学习率在深度神经网络训练中表现更佳，能够更有效地接近全局最小值。
哪些自适应梯度算法在非凸优化中表现较好？
AMSGrad、RMSProp和AdaGrad等自适应梯度算法在光滑非凸函数优化中能够收敛到一阶稳定点。
自适应方法为何可能导致更差的训练结果？
自适应方法在某些情况下可能无法收敛到全局最小值，甚至可能导致训练结果更糟糕。
Delayed AdaGrad with momentum算法的优势是什么？
该算法在弱假设条件下可高概率收敛于全局最优解，适用于非凸优化问题。
如何改善自适应方法的收敛性？
通过调整超参数和引入长期记忆机制，可以提高自适应方法的收敛性和实验性能。
