梯度正则化牛顿法最小化准自协调函数

该研究提出了一种算法，结合了随机梯度下降和拟牛顿法，通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同方法的统一。该算法适用于高维度优化问题，通过在共享的低维度子空间中存储和操作这些二次近似值，保持了计算可行性和限制了内存需求。实验结果表明该算法在七个不同的优化问题上有改进收敛表现，已发布为开源软件包。