【Transformer 与注意力机制】10 RNN 的根本局限：为什么需要 Transformer
原文中文，约20900字，阅读约需50分钟。
📝
内容提要
本文探讨了RNN（循环神经网络）与Transformer架构的演变。RNN面临长程依赖、梯度稳定和训练并行的三难问题，LSTM部分解决了梯度问题，但仍无法并行训练。2017年，Transformer通过完全依赖注意力机制解决了这三难，成为主流架构。尽管Transformer在长程依赖和并行性上表现优异，但其复杂度和内存消耗仍是局限。未来可能会出现结合循环结构的新模型，如Mamba和RWKV，以应对Transformer的不足。
🎯
关键要点
-
RNN面临长程依赖、梯度稳定和训练并行的三难问题，LSTM部分解决了梯度问题，但仍无法并行训练。
-
2017年，Transformer通过完全依赖注意力机制解决了这三难，成为主流架构。
-
尽管Transformer在长程依赖和并行性上表现优异，但其复杂度和内存消耗仍是局限。
-
未来可能会出现结合循环结构的新模型，如Mamba和RWKV，以应对Transformer的不足。
❓
延伸问答
RNN面临哪些主要问题？
RNN面临长程依赖、梯度稳定和训练并行的三难问题。
Transformer是如何解决RNN的三难问题的？
Transformer通过完全依赖注意力机制，抛弃循环结构，解决了长程依赖、梯度稳定和训练并行的问题。
Transformer的复杂度和内存消耗有哪些局限？
Transformer的复杂度为O(N^2)，在处理长上下文时内存消耗较大。
未来可能出现哪些新模型来应对Transformer的不足？
未来可能会出现结合循环结构的新模型，如Mamba和RWKV。
LSTM在长程依赖方面的实际表现如何？
LSTM在语言建模任务中对最近约50个token敏感，但对超过200个token的依赖基本无效。
RNN和Transformer在训练并行性上有什么区别？
RNN的训练是串行的，GPU利用率低，而Transformer可以全并行训练，GPU利用率高。
🏷️
