本研究提出了一种新拟牛顿方法,用于解决平滑和单调非线性方程,特别是无约束最小化和最小最大优化问题。通过在线学习更新雅可比矩阵,该方法在强单调性下比传统外梯度方法具有更好的全局收敛性和更快的收敛速度。
LODO是一种新的机器学习优化器,将学习优化技术与拟牛顿方法相结合,用于学习对称矩阵向量积的神经表示。该方法不需要元训练,并在噪声中表现良好。实验结果显示,LODO在训练深度神经网络方面具有竞争力。
完成下面两步后,将自动完成登录并继续当前操作。