【Transformer 与注意力机制】08.5 神经网络基础：从 MLP 到 RNN 的最后一块地基
💡
原文中文，约11600字，阅读约需28分钟。
📝
内容提要
神经网络通过前向传播、损失计算、反向传播和梯度下降进行训练。每个神经元执行线性打分和非线性激活，多个神经元组成层，层与层之间的非线性使网络能够拟合复杂函数。递归神经网络（RNN）通过引入状态，克服了多层感知器（MLP）在序列任务中的局限性。训练过程是参数在损失曲面上逐步优化的过程。
🎯
关键要点
- 神经网络通过前向传播、损失计算、反向传播和梯度下降进行训练。
- 每个神经元执行线性打分和非线性激活，多个神经元组成层，层与层之间的非线性使网络能够拟合复杂函数。
- 递归神经网络（RNN）通过引入状态，克服了多层感知器（MLP）在序列任务中的局限性。
- 训练过程是参数在损失曲面上逐步优化的过程。
- 损失函数用于衡量模型预测的误差，反向传播则通过链式法则计算每个参数的梯度。
- RNN 通过让当前隐藏表示依赖于上一时刻的隐藏表示，能够处理变长序列任务。
- 普通 MLP 不适合序列任务，因为它的信息流不适合处理序列数据的动态特性。
❓
延伸问答
神经网络的训练过程包括哪些步骤？
神经网络的训练过程包括前向传播、损失计算、反向传播和梯度下降四个步骤。
为什么递归神经网络（RNN）比多层感知器（MLP）更适合处理序列任务？
RNN通过引入状态，使当前隐藏表示依赖于上一时刻的隐藏表示，能够处理变长序列任务，而MLP不适合序列任务，因为它的信息流不适合处理序列数据的动态特性。
损失函数在神经网络训练中有什么作用？
损失函数用于衡量模型预测的误差，是训练过程中必须定义的可微的误差尺度。
神经元的基本功能是什么？
神经元的基本功能是执行线性打分和非线性激活，决定输入在特定方向上的强度。
反向传播的基本原理是什么？
反向传播是通过链式法则计算每个参数的梯度，将损失沿计算图反向传递，以更新参数。
为什么非线性激活函数对神经网络至关重要？
非线性激活函数使得深度网络能够拟合复杂的非线性关系，避免网络退化为浅层线性模型。
➡️
