神经网络中 400 种激活函数的综合调查：三十年的研究
内容提要
该文综述神经网络激活函数研究，涵盖可训练激活函数的分类、非线性函数评估、权重初始化影响及MNIST实证分析，并提出ELiSH、HardELiSH等新函数。结果表明复杂分段线性函数优于ReLU，自适应激活函数在CIFAR-10上达到先进水平。
延伸解读
激活函数研究的时间脉络
文章按时间顺序梳理了2014年至2023年的多项研究，显示激活函数领域持续活跃。早期工作侧重非线性函数评估和权重初始化影响，后期转向可训练和自适应函数。这种时间线帮助读者理解技术演进，但需注意各研究侧重点不同，结论需结合具体任务看待。
可训练激活函数的分类与等价性
文章提出可训练激活函数的分类法，并指出许多方法等价于在固定激活函数基础上添加局部规则来约束权重层。这一观点揭示了不同方法间的内在联系，有助于读者从统一视角理解各类可训练函数的本质，避免被表面差异迷惑。
实证结果与函数选择启示
基于MNIST和CIFAR-10等数据集的实证表明，复杂分段线性函数在浅层和深层卷积网络中优于ReLU，自适应激活函数在CIFAR-10上达到先进水平。这提示读者在实际应用中可考虑分段线性或自适应函数，但需注意数据集和网络结构的差异可能影响效果。
新函数与优化方法
文章介绍了ELiSH和HardELiSH两种新激活函数，并采用基于遗传算法的方法在图像分类基准上取得优于传统基线的效果。这表明自动搜索或学习激活函数组合是提升性能的可行途径，但具体实现和计算成本需进一步评估。
Q&A
神经网络中激活函数的主要作用是什么？
激活函数为神经网络引入非线性，使其能够学习和表示复杂函数，从而提升网络性能。
可训练激活函数有哪些分类和优缺点？
文章系统总结了可训练激活函数的模型，提出了分类法，并探讨了其优缺点。许多可训练激活函数等价于添加固定激活函数和局部规则来约束权重层，从而促进性能。
ELiSH和HardELiSH激活函数是什么？它们的效果如何？
ELiSH和HardELiSH是两种新的激活函数，使用基于遗传算法的方法在三个图像分类基准测试中取得了比传统基线更好的效果。
复杂分段线性激活函数与ReLU相比有什么优势？
复杂的分段线性激活函数在浅层和深层卷积神经网络中比ReLU激活函数效果更好。
自适应激活函数在CIFAR-10数据集上表现如何？
使用自适应激活函数设计的分段线性激活函数在CIFAR-10等数据集上取得了最先进的表现。
权重初始化方法如何影响深度神经网络的性能？
文章分析了深层神经网络与权重初始化方法的关系，特别关注节点的入度和出度对整个网络的影响。
