快速训练具有稳态反馈的递归神经网络

本研究解决了递归神经网络在训练过程中面临的梯度计算瓶颈问题。我们提出了一种新方法，使用固定梯度反馈机制替代传统的时间反向传播（BPTT），通过状态空间模型的原则定义反馈矩阵，从而有效简化梯度传播，显著降低训练开销，同时保留网络捕捉长期依赖的能力。实验结果表明，该方法在语言建模基准上表现出竞争力的困惑度，并具有广泛的实际应用潜力。