比 ReLU 类激活函数显著更好的一类激活函数
原文中文，约400字，阅读约需1分钟。发表于：。介绍了两种新的激活函数，Cone 和 Parabolic-Cone，相较于常用的 ReLU 和 Sigmoidal 类激活函数，在 CIFAR-10 和 Imagenette 两个基准测试中明显表现更好。这些激活函数在有限区间内为正，且在区间的端点处变为零，使得神经元可以更精细地将输入特征空间划分为正类和负类，通过较少的超带学习 XOR...
这篇文章介绍了两种新的激活函数Cone和Parabolic-Cone，相比于ReLU和Sigmoidal类激活函数，在基准测试中表现更好。这些激活函数在有限区间内为正，在区间端点处变为零，使得神经元可以更精细地划分输入特征空间为正类和负类。研究表明，较少的超带可以实现数据分离，并且Cone和Parabolic-Cone激活函数具有更大的导数，加速了训练过程。
