关于循环神经网络语言模型的表示能力
原文中文，约500字，阅读约需1分钟。发表于：。通过研究基于递归神经网络的语言模型（LMs）的计算表达能力，本文通过扩展图灵完备性结果到概率情况，展示了有理加权 RLM 在无界计算时间下可以模拟任何概率图灵机。相反，在实时计算限制下，这些模型可以模拟确定性的实时有理 PTM。
本文介绍了一种解决标准RNN训练中梯度消失和梯度爆炸问题的特殊循环神经网络——储层计算（RC），并证明了RNN可以普遍逼近线性时不变（LTI）系统。RC在自然语言处理和无线通信等领域表现出卓越的实证性能，特别适用于训练样本极为有限的情况。通过清晰的信号处理解释和理解，利用RC对一个通用的LTI系统进行了模拟，并分析了生成RC的未经训练的循环权重的最优概率分布函数。
