比 ReLU 类激活函数显著更好的一类激活函数
内容提要
本文研究了深度神经网络中的激活函数，特别是logistic sigmoid和tanh。研究发现logistic sigmoid训练困难，提出了“带惩罚的tanh”函数，其性能优于ReLU等其他激活函数。激活函数的设计与训练策略对神经网络性能有显著影响，需进一步探索。
延伸解读
激活函数设计的关键因素
文章指出，logistic sigmoid训练困难不仅因为非零中心，还因为原点附近斜率过大。通过重新调整，其性能可与tanh相当。这表明激活函数的中心化和斜率特性对训练至关重要，设计时需综合考虑这些因素。
带惩罚的tanh：超越ReLU的尝试
在tanh负部分加罚项形成的“带惩罚的tanh”函数，性能优于ReLU和Leaky ReLU。这一结果与先前研究冲突，提示ReLU并非总是最优，激活函数的选择需结合具体任务和训练策略。
负斜率与非稀疏性的价值
对修正激活单元负部分引入非零斜率可改善结果，推翻了稀疏性是ReLU成功关键的常见信念。在小数据集上，随机斜率（如RReLU）比确定性斜率更不易过拟合，这为激活函数设计提供了新思路。
激活函数研究的多样发展
文章列举了多种新型激活函数，如SGELU、FReLU、MPU等，它们在图像分类等任务上表现出色。这表明激活函数研究正朝着多样化、自适应和理论深入的方向发展，未来仍有很大探索空间。
Q&A
为什么logistic sigmoid函数在训练中表现困难？
logistic sigmoid函数训练困难的原因包括其非零中心属性和在原点附近的斜率过大。
什么是“带惩罚的tanh”函数？
“带惩罚的tanh”函数是在tanh函数的负部分加罚项后改进而成，其性能优于ReLU等其他激活函数。
激活函数的设计对神经网络性能有什么影响？
激活函数的设计与训练策略对神经网络的性能有显著影响，需要进一步探索。
tanh函数与logistic sigmoid函数的性能如何比较？
经过适当的重新调整后，tanh函数和logistic sigmoid函数的性能相当。
ReLU激活函数的局限性是什么？
ReLU激活函数在某些情况下可能导致训练不稳定，尤其是在处理负输入时。
研究中提到的激活函数改进方法有哪些？
研究中提出了“带惩罚的tanh”函数作为激活函数的改进方法。
