【Transformer 与注意力机制】08.5 神经网络基础：从 MLP 到 RNN 的最后一块地基
内容提要
神经网络通过前向传播、损失计算、反向传播和梯度下降进行训练。每个神经元执行线性打分和非线性激活，多个神经元组成层，层与层之间的非线性使网络能够拟合复杂函数。递归神经网络（RNN）通过引入状态，克服了多层感知器（MLP）在序列任务中的局限性。训练过程是参数在损失曲面上逐步优化的过程。
关键要点
-
神经网络通过前向传播、损失计算、反向传播和梯度下降进行训练。
-
每个神经元执行线性打分和非线性激活，多个神经元组成层，层与层之间的非线性使网络能够拟合复杂函数。
-
递归神经网络（RNN）通过引入状态，克服了多层感知器（MLP）在序列任务中的局限性。
-
训练过程是参数在损失曲面上逐步优化的过程。
-
损失函数用于衡量模型预测的误差，反向传播则通过链式法则计算每个参数的梯度。
-
RNN 通过让当前隐藏表示依赖于上一时刻的隐藏表示，能够处理变长序列任务。
-
普通 MLP 不适合序列任务，因为它的信息流不适合处理序列数据的动态特性。
延伸解读
神经网络的训练过程
神经网络的训练过程包括前向传播、损失计算、反向传播和参数更新四个步骤。理解这一闭环对于掌握深度学习至关重要。每一步都在为模型的优化提供支持，确保模型能够逐步接近真实数据的分布。
RNN与MLP的区别
递归神经网络（RNN）通过引入状态来处理序列数据，而多层感知器（MLP）则不具备这种能力。RNN能够在时间维度上保持信息流动，适合处理变长序列任务，而MLP则在固定长度输入上表现更好。
非线性激活的重要性
非线性激活函数是深度学习模型能够拟合复杂关系的关键。没有非线性，多个线性层的组合仍然是线性，无法捕捉到真实世界中的复杂模式。因此，在设计神经网络时，合理选择激活函数至关重要。
延伸问答
神经网络的训练过程包括哪些步骤？
神经网络的训练过程包括前向传播、损失计算、反向传播和梯度下降四个步骤。
为什么递归神经网络（RNN）比多层感知器（MLP）更适合处理序列任务？
RNN通过引入状态，使当前隐藏表示依赖于上一时刻的隐藏表示，能够处理变长序列任务，而MLP不适合序列任务，因为它的信息流不适合处理序列数据的动态特性。
损失函数在神经网络训练中有什么作用？
损失函数用于衡量模型预测的误差，是训练过程中必须定义的可微的误差尺度。
神经元的基本功能是什么？
神经元的基本功能是执行线性打分和非线性激活，决定输入在特定方向上的强度。
反向传播的基本原理是什么？
反向传播是通过链式法则计算每个参数的梯度，将损失沿计算图反向传递，以更新参数。
为什么非线性激活函数对神经网络至关重要？
非线性激活函数使得深度网络能够拟合复杂的非线性关系，避免网络退化为浅层线性模型。
