Louis Aeilot's Blog
·
CS231n 讲义 VII：递归神经网络
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
递归神经网络（RNN）用于处理序列数据，具备内部状态（记忆），适应多种输入输出结构。RNN通过递归公式更新隐藏状态并生成输出。长短期记忆（LSTM）通过门控机制解决梯度消失问题，增强信息流动。
🎯
关键要点
-
递归神经网络（RNN）用于处理序列数据，具备内部状态（记忆）。
-
RNN可以适应多种输入输出结构，包括一对多、多对一和多对多。
-
RNN通过递归公式在每个时间步更新隐藏状态，并生成输出。
-
反向传播通过时间（BPTT）用于优化RNN，但长序列的计算成本高。
-
截断BPTT技术通过将序列分割成小块来降低内存需求。
-
RNN的模型大小保持不变，但捕捉长距离依赖性存在挑战。
-
长短期记忆（LSTM）通过门控机制解决梯度消失问题。
-
LSTM使用四个内部向量（门和候选值）来调节信息流动。
-
LSTM的细胞状态是网络的长期记忆，通过线性组合更新。
-
LSTM的隐藏状态是传递给下一个单元的工作记忆。
❓
延伸问答
递归神经网络（RNN）有什么特点？
递归神经网络（RNN）用于处理序列数据，具备内部状态（记忆），并能适应多种输入输出结构。
长短期记忆（LSTM）是如何解决梯度消失问题的？
长短期记忆（LSTM）通过门控机制调节信息流动，使用四个内部向量来管理信息的存储和输出，从而解决梯度消失问题。
RNN如何更新隐藏状态？
RNN通过递归公式在每个时间步更新隐藏状态，将前一个状态与当前输入结合。
什么是截断反向传播通过时间（Truncated BPTT）？
截断反向传播通过时间（Truncated BPTT）是一种将序列分割成小块以降低内存需求的技术，允许在每个小块上进行前向和反向传播。
RNN在处理长序列时面临哪些挑战？
RNN在处理长序列时面临计算成本高和捕捉长距离依赖性困难的挑战，因为相关信息可能会变得不可访问或被稀释。
LSTM的细胞状态和隐藏状态有什么区别？
LSTM的细胞状态是网络的长期记忆，通过线性组合更新，而隐藏状态是传递给下一个单元的工作记忆，是细胞状态的过滤版本。
➡️
