DEV Community
·
PyTorch中的激活函数 (5)
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
文章介绍了几种常用的激活函数及其优缺点。Tanh和Softsign将输入转换为-1到1，Sigmoid转换为0到1，Softmax用于多分类，输出总和为1。这些函数有助于归一化和稳定收敛，但可能导致梯度消失和计算复杂。PyTorch中有这些函数的实现。
🎯
关键要点
- 文章介绍了几种常用的激活函数及其优缺点。
- Tanh函数将输入值转换为-1到1，公式为y = (e^x - e^-x) / (e^x + e^-x)。
- Tanh的优点包括归一化输入值、稳定收敛、减轻梯度爆炸问题和死亡ReLU问题。
- Tanh的缺点是导致梯度消失问题，且计算复杂。
- Softsign函数将输入值转换为-1到1，公式为y = x / (1 + |x|)。
- Softsign的优点包括归一化输入值、稳定收敛、减轻梯度爆炸问题。
- Softsign的缺点是导致梯度消失问题。
- Sigmoid函数将输入值转换为0到1，公式为y = 1 / (1 + e^-x)。
- Sigmoid的优点包括归一化输入值、稳定收敛、减轻梯度爆炸问题和避免死亡ReLU问题。
- Sigmoid的缺点是导致梯度消失问题，且计算复杂。
- Softmax函数将输入值转换为0到1，且输出总和为1，适用于多分类模型。
- Softmax的优点包括归一化输入值、稳定收敛、减轻梯度爆炸问题和避免死亡ReLU问题。
- Softmax的缺点是导致梯度消失问题，且计算复杂。
➡️
