K-FAC是一种高效的逆近似方法，用于近似神经网络的Fisher信息矩阵，表现比先前的近似自然梯度/牛顿方法更好。

本文介绍了两种简单的随机二阶方法，用于最小化光滑和强凸函数的平均值。这些方法包括牛顿方法的随机变体（SN）和具有立方正则化的牛顿方法的随机变体（SCN）。与现有的随机二阶方法不同，这些方法每次迭代只需要计算一个随机选择函数的梯度和海森矩阵，避免了其他方法的缺点。与大多数现有的随机牛顿和拟牛顿方法相比，这些方法保证了比一阶 oracle 更快的本地收敛，并适应了问题的曲率。虽然这些方法不是无偏的，但为设计新的随机方法提供了新的直觉。