【Transformer 与注意力机制】09 RNN 与序列建模：Transformer 之前的世界
💡
原文中文，约29700字，阅读约需71分钟。
📝
内容提要
本文探讨了循环神经网络（RNN）在处理变长序列中的应用及其局限性。RNN通过权重共享和记忆机制处理序列数据，但存在长程依赖、梯度消失和训练并行性等问题。LSTM和GRU作为RNN的变体，通过门控机制改善了这些问题。尽管RNN在早期自然语言处理和机器翻译中发挥了重要作用，但随着Transformer的出现，其应用逐渐减少。
🎯
关键要点
- 循环神经网络（RNN）通过权重共享和记忆机制处理变长序列，但存在长程依赖、梯度消失和训练并行性等问题。
- LSTM和GRU作为RNN的变体，通过门控机制改善了这些问题。
- RNN在早期自然语言处理和机器翻译中发挥了重要作用，但随着Transformer的出现，其应用逐渐减少。
- RNN的训练过程使用反向传播穿越时间（BPTT），但由于其顺序依赖性，无法并行处理，导致训练速度慢。
- 梯度消失和梯度爆炸是RNN训练中的主要问题，LSTM通过引入cell state和门控机制有效缓解了这些问题。
- GRU是LSTM的简化版本，参数更少，训练速度更快，但在某些任务上效果相似。
- Seq2Seq框架将RNN应用于输入序列到输出序列的任务，广泛用于机器翻译和对话系统。
- 尽管RNN在工业界的应用逐渐减少，但在边缘设备和特定场景中仍有其优势。
❓
延伸问答
循环神经网络（RNN）在处理变长序列时存在哪些主要问题？
RNN在处理变长序列时主要面临长程依赖、梯度消失和训练并行性等问题。
LSTM和GRU是如何改善RNN的缺陷的？
LSTM和GRU通过引入门控机制来改善RNN的长程依赖和梯度消失问题，LSTM使用cell state来传递长期记忆，而GRU则简化了结构，减少了参数。
RNN的训练过程是如何进行的？
RNN的训练过程使用反向传播穿越时间（BPTT），通过展开时间序列来计算梯度，但由于其顺序依赖性，无法并行处理，导致训练速度慢。
为什么RNN在自然语言处理和机器翻译中曾经占据主导地位？
RNN在自然语言处理和机器翻译中占据主导地位是因为它能够有效处理变长序列，并且通过权重共享和记忆机制捕捉序列中元素之间的关系。
RNN的梯度消失和梯度爆炸问题是如何影响模型性能的？
梯度消失导致模型无法学习长程依赖，而梯度爆炸则会使训练过程不稳定，导致损失值变为NaN，这两者都严重影响了RNN的性能。
RNN在工业界的应用现状如何？
尽管RNN在工业界的应用逐渐减少，但在边缘设备和特定场景中仍有其优势，尤其是在资源受限的环境中。
➡️
