本文综述基于Fisher信息预条件的Langevin扩散优化,将高阶曲率信息引入随机梯度Langevin动力学,以解决深度网络参数空间病态与过拟合问题。该方法收敛速度与Adam等一阶自适应方法相当,泛化性能与SGD相当,并探讨了Hessian分析及贝叶斯不确定性估计。
完成下面两步后,将自动完成登录并继续当前操作。