关于循环神经网络语言模型的表示能力

本文介绍了一种解决标准RNN训练中梯度消失和梯度爆炸问题的特殊循环神经网络——储层计算（RC），并证明了RNN可以普遍逼近线性时不变（LTI）系统。RC在自然语言处理和无线通信等领域表现出卓越的实证性能，特别适用于训练样本极为有限的情况。通过清晰的信号处理解释和理解，利用RC对一个通用的LTI系统进行了模拟，并分析了生成RC的未经训练的循环权重的最优概率分布函数。