基于深度展开的马尔可夫链蒙特卡洛梯度下降的收敛加速
内容提要
该文综述了马尔可夫链蒙特卡罗（MCMC）与随机梯度优化的研究进展，涵盖自适应提议分布、Langevin与哈密顿蒙特卡罗、方差缩减、非可逆群链、子采样自然梯度优化器及随机镜像下降等算法，旨在提升高维、非凸及大数据场景下采样与优化的效率、稳定性与收敛速度。
延伸解读
从自适应提议到深度展开：MCMC加速的技术脉络
文章梳理了MCMC与随机梯度优化交叉领域的多项进展，包括基于梯度的自适应提议分布、Langevin与哈密顿蒙特卡罗、方差缩减、非可逆群链、子采样自然梯度优化器及随机镜像下降等。这些工作共同指向高维、非凸及大数据场景下采样与优化效率、稳定性与收敛速度的提升，反映出该领域从传统自适应策略向结合深度学习与随机优化技术的演进趋势。
方差缩减与样本复用：降低随机梯度噪声的关键
文中提到，使用蒙特卡罗估计梯度时，通过平均多个梯度样本可减少方差，但计算成本随迭代次数上升。为此，有研究推导理论框架，通过交错采样与优化、更新并复用过去样本，利用低方差有限差分估计器描述梯度估计变化，并结合比例与有限差分样本持续减小方差。该方法与Adam结合后，在反向路径追踪等困难任务上加快了收敛。
面向实际问题的算法验证：从分子到离散模型
文章列举了多个应用验证：子采样投影增量自然梯度下降（SPRING）优化器在氧原子上四万次迭代达到化学精度，而MinSR和KFAC十万次迭代仍未达到；基于离散变量梯度的采样方法在Ising模型、Potts模型、受限玻尔兹曼机等上表现优异；MarchOn随机镜像下降在联合学习场景中取得凸、强凸及非凸损失函数的最佳收敛速度。这些案例表明算法改进需结合具体任务评估。
Q&A
基于梯度的学习方法如何自适应MCMC提议分布？
该方法通过定义最大熵正则化目标函数，利用随机梯度优化来优化提议分布的参数，相比传统自适应MCMC方法性能更高，并成功应用于多元随机步长Metropolis和Metropolis-adjusted Langevin提议以及完整协方差矩阵。
如何减少随机梯度优化中的方差以提高收敛速度？
可以通过对每次迭代的多个梯度样本进行平均来减少方差，但计算成本高。另一种方法是交错采样和优化，更新和重复使用过去的样本，使用低方差的有限差分估计器描述梯度估计变化，结合比例和有限差分样本持续减小方差，并与Adam结合形成稳定组合，应用于反向路径追踪可加快收敛。
Hamiltonian Monte Carlo在复杂后验分布采样中有哪些改进？
利用广义运动函数改进随机梯度马尔可夫蒙特卡罗采样的效率，并讨论克服泛化引入的实际问题的技术。实验证明，该方法在探索复杂的多峰后验分布方面表现优秀。
SPRING优化器如何提升神经网络波函数的优化效率？
SPRING（子采样投影增量自然梯度下降）优化器减少了变分蒙特卡罗方法优化神经网络波函数的高昂成本。在氧原子上，SPRING在四万次迭代后达到化学精度，而MinSR和KFAC即使十万次迭代后仍未达到。
MarchOn随机镜像下降在联合学习中的收敛速度如何？
MarchOn是随机镜像下降的新版本，应用于联合学习场景。通过分析新框架，获得了凸性、强凸性和非凸性损失函数的最佳收敛速度，并通过实证研究验证了理论结果。
如何利用离散变量梯度进行采样并提升模型性能？
使用似然函数关于离散变量的梯度来提议更新，在Ising模型、Potts模型、受限玻尔兹曼机和分步隐马尔可夫模型等复杂模型上表现出优异性能，并有效提升变分自编码器和基于能量模型的方法的性能。同时证明该方法在局部更新的抽样器中几乎是最优的。
