激活函数在神经网络中引入非线性，使网络能够拟合复杂关系。最早的Sigmoid函数因其可导性被广泛使用，但存在梯度消失问题。Tanh函数有所改进，但仍未解决深层网络训练困难。ReLU函数的出现解决了梯度消失问题，但引入了Dying ReLU现象。后续的激活函数如Leaky ReLU、ELU、GELU和SwiGLU等不断优化，以适应不同任务需求。激活函数的选择直接影响网络的训练效果和性能。

本文介绍了神经网络的结构，包括输入层、输出层和多个隐藏层，并使用激活函数（如ReLU）引入非线性。反向传播通过计算梯度和链式法则，将误差从输出层向后传播以学习参数。

本文介绍了神经网络及其反向传播算法。神经网络由输入层、输出层和多个隐藏层组成，使用激活函数（如ReLU）引入非线性。反向传播通过计算梯度优化网络参数，利用链式法则将误差从输出层传递到隐藏层。

本文探讨了恒等式 $x = elu(x) - elu(-x)$，并指出类似的恒等式适用于GeLU和Swish等激活函数。通过定义任意奇函数$ heta(x)$，得出更一般的结论，表明这些激活函数使两层神经网络可以简化为一层，从而提升模型灵活性。

本研究提出了一种新方法Adaptive Linearization（AdaLin），旨在解决深度神经网络在非平稳环境中学习能力下降的问题。AdaLin通过动态调整激活函数，显著提升了持续学习能力。

本研究提出VeLU激活函数，通过动态调整输入方差和结合ArcTan-Sin变换，解决了ReLU在梯度流动和优化稳定性方面的不足，实验结果表明其在视觉基准测试中表现优异。

本研究探讨了嵌入式深度神经网络中激活函数的选择，提出使用有界激活函数以提高模型对软错误的鲁棒性，同时保持准确性和计算效率，具有重要应用潜力。

本文探讨深度学习理论中网络输出的分析方法，将随机初始化的多层感知机视为输入的哈密顿量，揭示了能量景观的性质，特别是无限宽度下近全局最小值的结构，并分析了不同激活函数对能量景观的影响。

本文探讨了基于CORDIC的激活函数设计，以满足资源受限系统的需求，促进神经网络加速。介绍的DA-VINCI激活函数为多种AI工作负载提供动态可配置和精度可调的解决方案，显著提升DNN、RNN/LSTM和Transformer的资源效率与质量，NEURIC计算单元展示了98.5%的结果质量。

本研究提出了一种新的初始化方案，解决了深度神经网络中静态激活函数导致的梯度消失和爆炸问题。实验表明，基于Hermite、Fourier和热带多项式的可学习激活函数显著提高了网络的准确性和稳定性。

本研究探讨了深度学习中的grokking现象，提出了StableMax激活函数和$ot$Grad训练算法，以解决数值不稳定性问题并提升泛化速度，提供了新的见解。

本研究提出了一种通过单次前向传播提升贝叶斯深度学习预测效率的方法，利用激活函数的局部线性化和线性层的高斯近似，成功应用于多层感知机和变压器模型的回归与分类任务。

本研究提出了一种新颖的激活稀疏性度量标准PPL-$p\%$，并通过实验揭示了不同激活函数在训练时间和稀疏性方面的显著差异，为提升大型语言模型的效率和可解释性提供了依据。