神经网络方法的快速迭代求解器:II. 1D 扩散 - 反应问题与数据拟合
原文中文,约500字,阅读约需2分钟。发表于: 。该研究论文介绍了一种扩展的阻尼块牛顿法,用于解决神经网络中包含质量矩阵的线性方程组,以及求解非线性参数的方法,该方法在计算代价上具有较高效性,并且优于 BFGS 算法。
本文提出了一种基于结构引导的 Gauss-Newton 方法,用于使用浅层 ReLU 神经网络求解最小二乘问题。该方法有效地利用了最小二乘结构和目标函数的神经网络结构,通过将网络的隐藏层和输出层的权重和偏置分别归类为非线性和线性参数,方法在非线性和线性参数之间来回迭代。该方法的收敛性和准确性在多个具有挑战性的函数逼近问题中进行了数值验证。