曲率信息的 SGD：通过通用李群预条件器
内容提要
本文综述了随机梯度下降中预处理器的研究进展，包括自然梯度、自适应学习率、与SGLD结合、数据草图加速及LoRA微调等方法，这些方法可提升深度网络训练的收敛性与泛化性能。
延伸解读
预处理器在SGD中的核心作用
文章指出，预处理器能加速随机梯度下降的收敛，并稳定梯度降噪。自然梯度、自适应学习率等方法都基于曲率信息，在凸和非凸优化中均有验证。这提示读者，预处理是提升训练效率的关键技术方向，尤其适合深度网络等复杂问题。
与SGLD结合：跳出曲率异常区域
将Fisher Scoring等高阶曲率信息引入Stochastic Gradient Langevin Dynamics，可有效跳出深度神经网络中曲率异常的波动区域。其收敛速度与Adam、AdaGrad等一阶自适应方法相当，且泛化性能与SGD持平。这表明预处理与SGLD结合能兼顾收敛与泛化。
数据草图加速：低精度与高精度均受益
基于数据草图与优化的快速方法，结合mini-batch SGD与两步预处理，在低精度下时间复杂度低于当前最先进技术，并可扩展到高精度，提供Iterative Hessian Sketch的替代实现。实验表明在低精度和高精度情况下均明显优于现有方法。
LoRA微调中的黎曼预处理器
通过引入黎曼预处理器，LoRA微调过程的收敛性和稳定性得到显著提升，实验显示SGD和AdamW均受益。这为参数高效微调提供了新思路，尤其适合大模型场景，但需注意预处理器估计带来的额外计算开销。
Q&A
什么是预处理器在随机梯度下降中的作用？
预处理器用于加速随机梯度下降的收敛速度，适用于凸和非凸优化，具有稳定梯度降噪的效果，并能高效解决深度神经网络等复杂问题。
自然梯度下降如何与SGD结合使用？
自然梯度下降利用Fisher Scoring等高阶曲率信息，通过自适应参数预处理噪声，将其引入Stochastic Gradient Langevin Dynamics中，能有效跳出曲率异常的波动区域，收敛速度与Adam、AdaGrad等一阶自适应方法相当，并在测试集上实现与SGD同等的泛化性能。
ESGD方法相比RMSProp有什么优势？
ESGD是一种基于equilibration preconditioner的新型自适应学习率方法，与RMSProp相比收敛速度更快，在非凸问题上表现更好。
数据草图如何加速SGD？
数据草图结合（加速的）mini-batch SGD与两步预处理方法，能以比当前低精度情况下最先进技术所需的时间复杂度更低的近似解，也可扩展到高精度情况，提供Iterative Hessian Sketch的替代实现，在低精度和高精度情况下都明显优于现有方法。
LoRA微调中如何应用Riemannian预处理器？
通过引入Riemannian预处理器增强LoRA微调过程，实验结果表明，使用该预处理器可以显著提高SGD和AdamW的收敛性和稳定性。
自适应步长方法如何实现几乎无需调参的SGD？
通过利用可追踪的量（梯度的Lipschitz常数和搜索方向的局部方差），该自适应步长方法为随机优化提供了几乎无需调参的算法，在二次问题上具有可证明的收敛性质，并在经典图像分类任务中展现出问题自适应行为，框架还可包含预处理器以实现随机二阶优化的自适应步长。
