RNN 训练中的分叉和损失跳跃
原文中文，约300字，阅读约需1分钟。发表于：。利用循环神经网络 (RNNs) 建立模型和预测顺序数据，推理系统动力学 (DS)；利用 DS 理论 (DST) 增进对训练后的 RNNs 解决复杂任务的理解，以及训练过程本身；研究证明 ReLU-based RNNs 中某些分叉确实与梯度趋近于无穷大或零有关；引入一种新的启发式算法检测 ReLU-based RNNs 中的所有稳定点和 k -...
该文介绍了一种用于递归神经网络（RNN）的固定点分析方法，可以用于RNN记忆状态演进的收敛估计。通过研究联合随机代数方程的无穷维ODE的解，证明了简化权重矩阵的RNN收敛到一个无穷维ODE的解与固定点耦合。这些数学方法导致了RNN在数据序列上训练时的神经切向核（NTK）极限。
