Louis Aeilot's Blog
·
揭开Softmax损失的神秘面纱：线性分类器的逐步推导
💡
原文英文，约900词，阅读约需4分钟。
📝
内容提要
本文详细解析了Softmax损失的数学推导，重点在于线性分类器的梯度计算。通过前向传播和反向传播，推导出损失对logits、权重和偏置的梯度，并利用链式法则简化矩阵运算，帮助理解分类网络如何从错误中学习。
🎯
关键要点
-
Softmax损失的数学推导涉及前向传播和反向传播的过程。
-
输入特征为D维，分类为C个类别，计算原始分数（logits）z=Wx+b。
-
Softmax层将原始分数转换为概率分布，类别i的概率为pi=ezi/∑j=1Cezj。
-
交叉熵损失函数只关注真实类别的预测概率，损失为L=−log(py)。
-
通过链式法则推导出损失对logits的梯度，分为真实类别和错误类别两种情况。
-
真实类别的梯度为∂L/∂zy=py−1，错误类别的梯度为∂L/∂zi=pi。
-
权重和偏置的梯度通过链式法则从logits的梯度传递回去，权重的梯度为∂L/∂Wij=dzi⋅xj，偏置的梯度为∂L/∂b=dz。
-
在小批量训练中，处理N个样本以稳定梯度，计算平均梯度。
-
通过系统应用链式法则，将复杂的矩阵微积分问题转化为高效的线性代数运算。
❓
延伸问答
Softmax损失的数学推导包括哪些主要步骤？
Softmax损失的数学推导包括前向传播、计算logits、Softmax层转换为概率分布、交叉熵损失计算以及反向传播的梯度推导。
如何计算Softmax层的概率分布？
Softmax层的概率分布通过公式pi=ezi/∑j=1Cezj计算，其中zi是原始分数，C是类别数。
交叉熵损失函数的定义是什么？
交叉熵损失函数定义为L=−log(py)，其中py是真实类别的预测概率。
在反向传播中，如何计算logits的梯度？
logits的梯度通过链式法则推导，真实类别的梯度为py−1，错误类别的梯度为pi。
权重和偏置的梯度是如何计算的？
权重的梯度通过∂L/∂Wij=dzi⋅xj计算，偏置的梯度为∂L/∂b=dz。
小批量训练中如何处理梯度？
在小批量训练中，通过处理N个样本计算平均梯度，以稳定梯度并利用并行计算。
➡️
