本文探讨了随机放缩和动量方法在非光滑非凸优化中的应用，特别是在神经网络训练中的影响。研究表明，使用指数分布的随机缩放更新可以优化复杂的损失函数，提高收敛性。同时，随机动量算法能够更快地逃离鞍点，理论分析验证了其有效性。

本文探讨了基于哈密顿视角的动量方法，包括Nesterov加速梯度法和Polyak重球法的收敛性分析。研究表明，Nesterov方法在训练神经网络时收敛速度优于Heavy Ball方法，并提出了针对梯度噪声情况下的收敛性模型，验证了新算法在稀疏数据环境中的优势。