小令童鞋
·
深度学习基础知识详解
💡
原文中文，约600字，阅读约需2分钟。
📝
内容提要
激活函数常见的有sigmoid、tanh、Relu、Leak Relu、SolftPlus和softmax函数，每个函数有不同的定义和值域，适用于不同情况。
🎯
关键要点
- 激活函数常见的有sigmoid、tanh、Relu、Leak Relu、SolftPlus和softmax函数。
- sigmoid函数定义为f(x) = 1 / (1 + e^{-x})，值域为(0,1)。
- tanh激活函数定义为f(x) = tanh(x) = (e^x - e^{-x}) / (e^x + e^{-x})，值域为(-1,1)。
- Relu激活函数定义为f(x) = max(0, x)，值域为[0,+∞)。
- Leak Relu激活函数定义为f(x) = { ax, x<0; x, x>0 }，值域为(-∞,+∞)。
- SoftPlus激活函数定义为f(x) = ln(1 + e^x)，值域为(0,+∞)。
- softmax激活函数定义为σ(z)j = e^{z_j} / ∑_{k=1}^K e^{z_k}，多用于多分类神经网络输出。
➡️
