该研究提出了一种新算法,结合随机梯度下降和拟牛顿法,通过独立Hessian近似值实现高维优化。该算法在七个优化问题上表现出改进的收敛性,并已发布为开源软件包。此外,研究探讨了深度神经网络在数值分析中的应用,提出自适应学习基函数和小波变换方法,在分类和回归任务中显示出优越性。
该研究提出了一种适用于高维度优化问题的算法,结合了随机梯度下降和拟牛顿法,通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同的方法的统一。该算法在七个不同的优化问题上进行了实验性的改进收敛表现,已发布为开源 Python 和 MATLAB 软件包。
该研究提出了一种算法,结合了随机梯度下降和拟牛顿法,通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同方法的统一。该算法适用于高维度优化问题,通过在共享的低维度子空间中存储和操作这些二次近似值,保持了计算可行性和限制了内存需求。实验结果表明该算法在七个不同的优化问题上有改进收敛表现,已发布为开源软件包。
完成下面两步后,将自动完成登录并继续当前操作。