该文综述神经网络激活函数研究，涵盖可训练激活函数的分类、非线性函数评估、权重初始化影响及MNIST实证分析，并提出ELiSH、HardELiSH等新函数。结果表明复杂分段线性函数优于ReLU，自适应激活函数在CIFAR-10上达到先进水平。

该文综述可训练激活函数研究，涵盖：ABUs自适应调整混合比例；样条理论揭示激活函数与Banach空间关系；SAFS结合稀疏激活搜索与超参优化，在高剪枝率下提升准确率；自适应激活函数加速物理神经网络回归收敛；PAUs替代固定激活函数提升性能；进化搜索自动定制激活函数；分段线性激活函数在CIFAR-10达最优；平滑激活函数利于过参数化网络训练；并系统分类可训练激活函数。