该论文提出了一种新的随机优化方法SOFIM，用于大规模机器学习模型的优化。SOFIM利用FIM近似Hessian矩阵，类似于Adam方法，解决小批量非定常目标问题。实验结果表明，SOFIM在图像分类数据集上优于带动量的SGD和其他牛顿优化方法。

Adam是一种用于基于梯度的随机目标函数优化的算法，易于实现、计算效率高、占用内存少，适合在数据和/或参数方面比较大的问题。同时，还讨论了一种基于无穷范数的Adam变体AdaMax。该算法的理论收敛性质被分析，并提供了一个和在线凸优化框架下已知最好的收敛速率相当的遗憾界。