通过预训练稳定 RNN 梯度
原文中文，约300字，阅读约需1分钟。发表于：。通过本研究，我们证明预训练网络以实现本地稳定性在复杂结构的网络中是有效的，并提出了一种称为本地稳定条件（LSC）的理论，它能最小化对数据和参数分布的假设。我们的实验结果表明，通过预训练满足 LSC 的前馈和递归网络通常能够提高最终性能。这项研究为实现任意复杂度的网络的稳定性提供了一种方法，该方法可以在大型增强数据集的预训练之前作为附加步骤，也可以作为在分析上找到稳定的初始状态的替代方法。
本研究证明预训练网络在复杂结构的网络中实现本地稳定性是有效的，并提出了一种称为本地稳定条件（LSC）的理论。实验结果表明，满足LSC的前馈和递归网络能提高最终性能。该研究为实现任意复杂度的网络的稳定性提供了一种方法，可作为预训练之前的附加步骤，也可作为找到稳定初始状态的替代方法。
