Ginger：一种适用于一般神经网络的线性复杂度高效曲率近似方法
内容提要
该文综述多种神经网络二阶优化方法，包括K-FAC（高效逆近似逼近Fisher矩阵，适合随机优化）、Jorge（省去矩阵求逆，兼顾二阶收敛与一阶效率）、近端牛顿法、Kronecker对角方差近似、NeuralIF（图神经网络求解线性方程组）、GGT自适应正则化、分块对角高斯-牛顿近似及KrAD矩阵分解等，这些方法在效率或收敛性上优于传统方法。
延伸解读
二阶优化方法的演进脉络
文章梳理了从K-FAC到KrAD等多种二阶优化方法，它们分别从不同角度解决传统二阶方法计算成本高的问题。例如，K-FAC通过Kronecker分解近似Fisher矩阵，Jorge省去矩阵求逆，NeuralIF利用图神经网络求解线性方程组。这些方法在保持二阶收敛优势的同时，显著提升了计算效率，为深度学习优化提供了多样化的选择。
效率与收敛的权衡
这些方法在效率与收敛性之间寻求平衡。K-FAC适合高度随机的优化方案；Jorge结合了二阶方法的快速收敛和一阶方法的高计算效率；GGT自适应正则化在非凸设置下提供了新的理论分析。读者可根据具体任务对收敛速度和计算资源的需求，选择适合的优化器。
实际应用中的考量
文章提到，Jorge在多个深度学习模型中优于SGD、AdamW和Shampoo，且能直接从SGD基准确定超参数，减少调参工作。KrAD在32位精度下比Shampoo表现更好，并避免了64位精度和矩阵求逆。这些特性使得这些方法在实际部署中更具吸引力，尤其对于资源受限或需要快速迭代的场景。
Q&A
K-FAC 方法是如何近似自然梯度下降的？
K-FAC 基于一种高效的逆近似方法来近似神经网络的 Fisher 信息矩阵，该矩阵既不是对角线矩阵也不是低秩矩阵。与先前提出的近似自然梯度/牛顿方法相比，K-FAC 在高度随机的优化方案中表现非常好。
Jorge 优化器有什么特点？
Jorge 是一种第二阶优化器，通过省略矩阵求逆的计算，结合了第二阶方法的快速收敛性和第一阶方法的高计算效率。还提出了一种从 SGD 基准直接确定 Jorge 超参数的方法，显著减少调参工作。实证评估表明，在多个深度学习模型中，Jorge 在样本效率和墙钟时间上优于 SGD、AdamW 和 Shampoo 等最先进的优化器。
NeuralIF 是什么？它有什么作用？
NeuralIF 是一种基于自监管训练的图神经网络的数据驱动方法，用于加速科学计算和优化中遇到的大规模线性方程组求解。通过替换传统的手工制备预处理器，在收敛速度和计算效率方面实现了显著的提速。其核心是一种受稀疏矩阵理论启发的新型消息传递块。评估表明，NeuralIF 在各种指标上都实现了竞争性的性能。
GGT 自适应正则化方法有什么创新？
GGT 提出了一种实用的和有效的修改方式，以使全矩阵自适应正则化成为可能，并提供了非凸优化设置下自适应正则化的新理论分析。其核心算法 GGT 可以高效地计算低秩矩阵的平方根的倒数。在合成任务和标准深度学习基准测试中，初步实验结果表明其迭代收敛速度更快。
分块对角高斯-牛顿近似方法有什么优点？
该方法提出了一种高效的分块对角近似方法来计算前馈神经网络的高斯-牛顿矩阵，与一阶优化方法相比，有时能够显著提高优化性能。此外，该方法无需繁琐的调参，即可提供良好的性能。在针对分段线性转移函数进行优化时，网络目标函数可能不存在可微的局部极大值，这也可以部分解释为什么这样的转移函数有助于有效优化。
KrAD 矩阵分解方法有什么特点？
KrAD 是一种新颖的矩阵分解方法，用于直接近似实验 Fisher 矩阵的逆，避免了反转和 64 位精度，从而实现与 Shampoo 相似的计算成本和相同的 regret，同时在 32 位精度下比 Shampoo 表现更好。
