神经网络可行的无鞍牛顿优化的 Hessian-Vector 乘积系列

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

该研究提出了一种适用于高维度优化问题的算法,结合了随机梯度下降和拟牛顿法,通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同的方法的统一。该算法在七个不同的优化问题上进行了实验性的改进收敛表现,已发布为开源 Python 和 MATLAB 软件包。

🏷️

标签

➡️

继续阅读