RMSProp 及其动量扩展的 $O (\frac {\sqrt {d}}{T^{1/4}})$ 收敛速度：在维度上更好的依赖
内容提要
该文综述深度学习优化算法，涵盖Adam、RMSProp、Nesterov动量及SGD的理论性质与收敛性。研究证明Adam类算法具全局收敛性，揭示其隐式正则化与泛化差异；Nesterov动量在部分强凸目标上实现加速收敛；深度线性网络收敛随深度指数级变慢；合适初始化下深度网络无需正则化即可达一致收敛。
延伸解读
理论保证的实用条件
文章提到，对于泛型Adam/RMSProp，存在一个易于检查的充分条件，仅依赖于基本学习率和历史二阶动量的组合，即可保证全局收敛。这意味着在实际训练中，用户可以通过监控学习率和二阶动量来验证算法是否处于稳定收敛区域，而无需复杂的理论分析。这一条件为超参数调优提供了明确指导，有助于避免发散。
隐式正则化与泛化关联
研究证明RMSProp和Adam中存在隐式正则化现象，其效果取决于超参数和训练阶段，并与之前研究有所不同。这解释了为什么调整超参数能改善泛化性能：隐式正则化会影响模型复杂度，从而改变泛化差距。读者应注意，不同训练阶段可能需要不同的超参数设置，以平衡优化与泛化。
加速收敛的适用范围
Nesterov动量在部分强凸目标上实现加速收敛，但文章指出这需要目标函数满足特定条件，例如仅参数子集强凸。对于深度ReLU网络，已有实现方法证明加速收敛率。然而，这种加速并非普遍适用，读者需根据具体问题结构判断是否采用Nesterov动量，避免在不满足条件时误用。
深度与维度的权衡
深度线性网络在标准随机初始化下，梯度方法的迭代次数随深度指数级增加，这揭示了深度带来的收敛挑战。另一方面，对于有界预测变量，L2误差收敛速度约为n^{-1/(1+d)}，且交互模型下收敛速度与输入维度d无关。这表明深度和维度对收敛的影响不同，实际中需针对网络结构选择初始化与步长。
Q&A
RMSProp 和 Adam 的全局收敛性需要满足什么条件？
只需基本学习率和历史二阶动量的组合满足一个易于检查的充分条件，即可保证泛型 Adam/RMSProp 的全局收敛性。
Nesterov 动量在什么类型的目标函数上能实现加速收敛？
在只有参数的一个子集满足强凸性的目标函数类上，Nesterov 动量能实现加速收敛，包括用于深度 ReLU 网络的两种实现方法。
深度线性神经网络用梯度下降训练时，收敛速度随深度如何变化？
在标准随机初始化下，迭代次数随着深度指数级增加，这可能是深度线性神经网络梯度方法收敛难以理解的一个潜在障碍。
深度神经网络在什么条件下无需正则化就能达到一致收敛？
通过合适的初始化、梯度下降步数和步长选择，无需正则化项即可达到普适的一致性和收敛速度；对于有界预测变量，L2 误差收敛速度约为 n^{-1/(1+d)}，对于交互模型，收敛速度与输入维度 d 无关。
RMSProp 和 Adam 中的隐式正则化现象与什么因素有关？
隐式正则化现象取决于超参数和训练阶段，并且与之前的研究有所不同。
使用动量相对于归一化 SGD 能解决什么问题？
使用动量相对于归一化 SGD 可以解决非凸问题，若目标函数具有有限的二阶导数，采用带动量的公式能提高收敛速度，且适用于大规模任务如 ResNet-50 和 BERT 预训练。
