DEV Community
·
PyTorch中的激活函数 (5)
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
文章介绍了几种常用的激活函数及其优缺点。Tanh和Softsign将输入转换为-1到1，Sigmoid转换为0到1，Softmax用于多分类，输出总和为1。这些函数有助于归一化和稳定收敛，但可能导致梯度消失和计算复杂。PyTorch中有这些函数的实现。
🎯
关键要点
-
文章介绍了几种常用的激活函数及其优缺点。
-
Tanh函数将输入值转换为-1到1，公式为y = (e^x - e^-x) / (e^x + e^-x)。
-
Tanh的优点包括归一化输入值、稳定收敛、减轻梯度爆炸问题和死亡ReLU问题。
-
Tanh的缺点是导致梯度消失问题，且计算复杂。
-
Softsign函数将输入值转换为-1到1，公式为y = x / (1 + |x|)。
-
Softsign的优点包括归一化输入值、稳定收敛、减轻梯度爆炸问题。
-
Softsign的缺点是导致梯度消失问题。
-
Sigmoid函数将输入值转换为0到1，公式为y = 1 / (1 + e^-x)。
-
Sigmoid的优点包括归一化输入值、稳定收敛、减轻梯度爆炸问题和避免死亡ReLU问题。
-
Sigmoid的缺点是导致梯度消失问题，且计算复杂。
-
Softmax函数将输入值转换为0到1，且输出总和为1，适用于多分类模型。
-
Softmax的优点包括归一化输入值、稳定收敛、减轻梯度爆炸问题和避免死亡ReLU问题。
-
Softmax的缺点是导致梯度消失问题，且计算复杂。
➡️
