递归神经网络在符合遍历性数据序列上训练的核极限
原文中文，约400字，阅读约需1分钟。发表于：。开发数学方法来表征随着隐藏单元数量、数据样本序列、隐藏状态更新和训练步骤同时趋向于无穷大，递归神经网络（RNN）的渐近特性。通过研究联合随机代数方程的无穷维 ODE 的解，我们证明了简化权重矩阵的 RNN 收敛到一个无穷维 ODE 的解与固定点耦合。这项分析需要解决针对 RNN 独特的几个挑战，而标准的均场技术无法应用于 RNN，因此我们开发了一种用于 RNN...
开发数学方法来表征递归神经网络（RNN）的渐近特性，研究了简化权重矩阵的RNN收敛到无穷维ODE的解与固定点耦合，开发了固定点分析方法用于RNN记忆状态演进，给出了收敛估计。这些方法导致了RNN在数据序列上训练时的神经切向核（NTK）极限。
