递归神经网络权重矩阵的有用表示学习
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本文研究了简单循环神经网络(RNN)作为识别加权语言的形式模型的计算复杂性问题。研究发现,大多数问题都是不可判定的,但对于一致性RNN,最后一个问题是可判定的,但解决方案可能超过可计算的界限。因此,在实际应用中,逼近算法是必要的。
🎯
关键要点
- 本文研究简单循环神经网络(RNN)作为识别加权语言的形式模型的计算复杂性问题。
- 研究集中于单层、ReLU激活、有理权重的RNN,广泛应用于自然语言处理。
- 大多数问题都是不可判定的,包括一致性、等价性、最小化和确定最高加权字符串。
- 对于一致性RNN,最后一个问题是可判定的,但解决方案可能超过可计算的界限。
- 如果字符串长度限制在多项式长度,该问题变为NP完全且APX难。
- 因此,在这些RNN的实际应用中,逼近算法是必要的。
🏷️
标签
➡️