神经网络方法的快速迭代求解器：II. 1D 扩散 - 反应问题与数据拟合
内容提要
本文探讨了多种优化算法在深度神经网络训练中的应用，包括BFGS、L-BFGS、mini-block Fisher和Gauss-Newton方法。这些方法在时间效率和优化性能上优于传统方法，尤其在处理高维非线性问题时表现出色。实验结果显示，这些新算法在收敛速度和泛化能力上均有显著提升。
延伸解读
二阶优化方法的演进脉络
文章梳理了从2017年到2024年多个二阶优化算法的进展，包括Kronecker分块BFGS、mini-block Fisher、Gram-Gauss-Newton、结构引导Gauss-Newton、EGN等。这些方法试图在计算效率和收敛速度之间取得平衡，尤其针对深度神经网络训练中的高维非凸问题。读者可以从中看到二阶方法如何逐步克服传统拟牛顿法在深度学习中应用的限制。
关键算法特性对比
不同算法各有侧重：Kronecker分块BFGS/L-BFGS通过Kronecker乘积近似Hessian，性能优于或相当于KFAC；mini-block Fisher利用GPU并行实现线性收敛；Gram-Gauss-Newton在宽网络下具有二次收敛速度；EGN结合低秩线性代数，适合参数远多于样本的大规模问题。这些特性反映了针对不同场景的优化策略选择。
实际应用中的考量
文章提到，这些二阶方法在时间效率和泛化能力上常优于一阶随机方法，且部分方法无需繁琐调参。例如，分块对角近似计算高斯-牛顿矩阵可提升优化性能；结构引导Gauss-Newton方法无需Levenberg-Marquardt中的移位技术即可保证搜索方向有效。这些特点降低了二阶方法在实际部署中的门槛。
理论保证与实验验证
多个算法提供了理论收敛保证，如Gram-Gauss-Newton对宽神经网络的二次收敛和mini-batch版本的收敛结果，EGN在线性速率下收敛到ε-稳定点。实验方面，这些方法在监督学习、强化学习及函数逼近问题上进行了验证，尤其在传统方法难以处理的不连续或尖锐过渡层问题上表现出优势。
Q&A
BFGS和L-BFGS方法有什么优势？
BFGS和L-BFGS方法在深度神经网络训练中性能优于KFAC和一阶随机方法，尤其在高维非线性问题上表现出色。
mini-block Fisher方法如何提高训练效率？
mini-block Fisher方法利用GPU并行性，提升了时间效率和泛化能力，实现了线性收敛。
Gram-Gauss-Newton算法的收敛速度如何？
Gram-Gauss-Newton算法在训练深度神经网络时收敛速度更快，性能优于SGD。
新算法如何解决阻尼Fisher矩阵问题？
新算法基于Cholesky分解，显著提高了速度，解决了阻尼Fisher矩阵问题。
EGN算法的优势是什么？
EGN算法结合广义高斯-牛顿Hessian近似，在线性速率收敛，性能优于多种优化器。
新型算法在高维非线性问题上的表现如何？
新型算法在理论和实验上证明了其在高维非线性反向随机微分方程问题上的高效性。
