该论文提出了一种新的随机优化方法SOFIM,用于大规模机器学习模型的优化。SOFIM利用FIM近似Hessian矩阵,类似于Adam方法,解决小批量非定常目标问题。实验结果表明,SOFIM在图像分类数据集上优于带动量的SGD和其他牛顿优化方法。
完成下面两步后,将自动完成登录并继续当前操作。