一种基于 Kaczmarz 的方法加速神经网络波函数优化
内容提要
该文综述面向深度神经网络与大规模数据的多种优化方法，包括结合Gauss-Newton与自然梯度的Levenberg-Marquardt方法、加速训练的Krylov子空间二阶优化、Kronecker-Factored近似、量子态变分蒙特卡罗的近端优化、Wasserstein梯度流粒子框架、随机梯度下降的线性收敛保证及Nesterov加速随机拟牛顿法。
延伸解读
优化方法谱系与核心挑战
文章梳理了从二阶方法到随机优化的多条技术路线，核心挑战在于深度神经网络参数多、数据量大导致的非凸优化难题。Levenberg-Marquardt结合Gauss-Newton与自然梯度、Krylov子空间二阶优化、Kronecker-Factored近似等方法，分别从不同角度试图平衡计算代价与收敛速度，而随机梯度下降的线性收敛保证则提供了理论基础。
K-FAC的意外发现与启示
文章指出Kronecker-Factored近似（KFAC）并不与二阶更新密切相关，反而在计算代价和数据效率上常优于二阶算法。证据表明KFAC近似的是对神经元进行梯度下降的一阶算法，而非对权重。这一发现挑战了广泛持有的信念，提示实践者重新审视KFAC的定位，可能更应将其视为高效的一阶优化变体。
量子态优化中的近端策略
针对神经网络量子态与变分蒙特卡罗，文章介绍了一种基于多次梯度下降的近端优化算法，通过重用不匹配的样本来提升效率。在一维横场伊辛模型和二维海森堡反铁磁体上的计算得到了有竞争力的能量值，证明了该方法在基态搜索中的有效性，为量子多体问题提供了可借鉴的优化思路。
随机优化的收敛与加速
文章基于随机梯度下降与随机Kaczmarz算法的联系，给出了线性收敛性的更好保证，并阐述了重要性采样可进一步提高收敛速度。此外，Nesterov加速的随机拟牛顿方法在大规模非凸优化中优于传统二阶oBFGS、oLBFGS及一阶随机梯度方法，且在不同动量率和批处理大小下进行了说明，为实际调参提供了参考。
Q&A
有哪些方法可以加速深度神经网络的二阶优化训练？
文章提到使用Krylov子空间进行训练加速的二阶优化方法，在深度神经网络中效果优于SGD、共轭梯度下降和L-BFGS等算法，且优于Hessian Free方法。
Kronecker-Factored近似（KFAC）和二阶优化方法有什么关系？
文章指出KFAC由于其近似，并不与二阶更新密切相关，且在计算代价和数据效率方面往往优于二阶更新算法。证据表明KFAC逼近的是对神经元进行梯度下降的一阶算法，而非对权重进行二阶更新。
如何用神经网络量子态和变分蒙特卡罗方法寻找量子系统基态？
文章介绍了一种基于神经网络量子态（NQS）和变分蒙特卡罗（VMC）的优化算法，使用多次梯度下降并通过重用不匹配的样本实现近端优化（PO）。该算法在一维横场伊辛模型和二维海森堡反铁磁体中有效搜索基态，得到了具有竞争力的能量值。
随机梯度下降法的线性收敛性有什么保证？
文章研究了随机梯度下降法的线性收敛性，得到了更好的收敛保证，并阐述了使用重要性采样在其他场景中进一步提高收敛速度的方法。研究基于随机梯度下降法与随机Kaczmarz算法之间的联系，可以相互借鉴成果。
Nesterov加速的随机拟牛顿法在神经网络优化中表现如何？
文章提出了一种具有Nesterov加速梯度的随机（在线）拟牛顿方法，用于解决神经网络中的大规模非凸优化问题。结果表明其性能优于传统的二阶oBFGS和oLBFGS方法以及常用的一阶随机梯度方法，并在不同动量率和批处理大小下进行了说明。
Wasserstein梯度流粒子框架如何用于大数据分析中的贝叶斯抽样？
文章针对大数据分析提出了一种基于Wasserstein梯度流的粒子优化框架，用于统一随机梯度MCMC和Stein变分梯度下降算法，能更有效地解决概率测度空间上的挑战。实验表明该框架能提高贝叶斯抽样的效率和可伸缩性。
