本文探讨了自然梯度方法在超参数学习中的应用，提出了新的优化器AdaBayes和自然梯度VPNG，分析了梯度下降算法的性能，并建立了Adam优化器的数学基础，提出了改进算法Fisher Adam（FAdam），在多个领域表现优异。

该文综述了马尔可夫链蒙特卡罗（MCMC）与随机梯度优化的研究进展，涵盖自适应提议分布、Langevin与哈密顿蒙特卡罗、方差缩减、非可逆群链、子采样自然梯度优化器及随机镜像下降等算法，旨在提升高维、非凸及大数据场景下采样与优化的效率、稳定性与收敛速度。

该文综述Fisher信息矩阵（FIM）在深度神经网络中的研究：证明随机连接网络的FIM近似块对角，为自然梯度法提供依据并加速学习；揭示FIM特征值谱病态、尺度依赖；还涉及隐私约束下的数据处理不等式、基于FIM的不确定性学习、互信息估计及SO(3)分布估计等应用。

本文综述了随机梯度下降中预处理器的研究进展，包括自然梯度、自适应学习率、与SGLD结合、数据草图加速及LoRA微调等方法，这些方法可提升深度网络训练的收敛性与泛化性能。

本文介绍了一种新的非参数密度估计方法，基于正则化密度的Sobolev范数。该方法与核密度估计不同，能够清晰解释模型的偏差。优化问题是非凸的，标准梯度法性能不佳，但适当的初始化和使用自然梯度可以得到良好的解。该方法在ADBench基准套件上评估结果显示，排名第二，超过15种算法。

本文介绍了一种名为自然进化策略（NES）的算法，它是一种比传统进化算法更为规范的黑盒优化方法。通过维护一个参数化的分布，使用自然梯度来更新分布的参数，以求解更高预期的适应度值。本文解决了关于收敛、稳健性、样本复杂度、计算复杂度和对超参数的敏感性等问题，并探讨了 NES 系列的多种实现。实验结果显示，NES 表现良好，达到了各种标准基准测试的最佳性能。