递归神经网络的逼近界限及其在回归中的应用
原文中文,约500字,阅读约需2分钟。发表于: 。本研究解决了深度ReLU递归神经网络(RNN)的逼近能力及其在非参数最小二乘回归中的收敛性问题。通过对Hölder光滑函数的逼近误差进行界定,提出了一种新颖的RNN构建方法,能够优化回归问题中的预测误差界限,实现了在数据假设下的最优收敛速率。这一结果为RNN的性能提供了统计保证。
本文研究了在有监督学习环境下使用梯度下降法训练的递归神经网络在动态系统中的表现,证明了梯度下降法可以实现最优性。通过非渐近分析,给出了网络大小和迭代复杂性的界限,并显示了长期依赖对网络宽度的影响。结果表明,适当初始化的递归神经网络可以在低次对数尺度下实现最优性。这些结果基于对动态系统类的明确描述,并通过约束范数的传输映射和隐藏状态的局部平滑性属性来实现。