kirito的博客
·
常用激活函数和损失函数
💡
原文中文，约800字，阅读约需2分钟。
📝
内容提要
本文介绍了常用的激活函数和损失函数，重点讨论了sigmoid和softmax函数。sigmoid函数的定义和导数被给出，softmax函数用于分类问题，能够将输出值映射到[0, 1]并且和为1。交叉熵损失函数通常与softmax结合使用，简化了反向传播中的计算。
🎯
关键要点
- sigmoid函数的定义为 $$ \sigma(x) = rac{1}{1+e^{-x}} $$，其导数为 $$ \sigma' = \sigma(x)(1-\sigma(x)) $$。
- softmax函数用于分类问题，能够将输出值映射到[0, 1]，并且输出值的和为1，定义为 $$ softmax(z_i) = rac{e^{z_i}}{ ext{sum}^{K}_{j=1}e^{z_j}} $$。
- softmax的导数为 $$ rac{ ext{partial} y_i}{ ext{partial} z_j} = egin{cases} p_i(1-p_j) & j=i\ -p_jullet p_i & j eq i \\end{cases} $$。
- 交叉熵损失函数通常与softmax结合使用，定义为 $$ L=- ext{sum}^{K}_{i=1}y_i ext{log}(p_i) $$，其中 $y_i$ 是真实样本标签值。
- 交叉熵损失函数的导数为 $$ rac{ ext{partial} L}{ ext{partial} z_i} = p_i - y_i $$，使得反向传播中的计算变得简单。
➡️
