超水平集与指数衰减：一种协同的稳定神经网络训练方法

BriefGPT - AI 论文速递 · 2024-09-25T00:00:00Z

文章探讨了在监督学习中使用梯度下降法训练递归神经网络，无需过度参数化即可达到最优效果。通过非渐近分析，研究了网络大小和迭代复杂性与序列长度、样本大小及环境维度的关系。结果表明，适当初始化的递归神经网络在低次对数尺度下即可实现最优性，长期依赖和激活函数的李普希茨连续性对收敛性有显著影响。这与以往需要高阶多项式依赖的研究不同。