本文介绍了神经网络的结构，包括输入层、输出层和多个隐藏层，并使用激活函数（如ReLU）引入非线性。反向传播通过计算梯度和链式法则，将误差从输出层向后传播以学习参数。

本文介绍了神经网络及其反向传播算法。神经网络由输入层、输出层和多个隐藏层组成，使用激活函数（如ReLU）引入非线性。反向传播通过计算梯度优化网络参数，利用链式法则将误差从输出层传递到隐藏层。

本文探讨了恒等式 $x = elu(x) - elu(-x)$，并指出类似的恒等式适用于GeLU和Swish等激活函数。通过定义任意奇函数$ heta(x)$，得出更一般的结论，表明这些激活函数使两层神经网络可以简化为一层，从而提升模型灵活性。

本研究提出了一种新方法Adaptive Linearization（AdaLin），旨在解决深度神经网络在非平稳环境中学习能力下降的问题。AdaLin通过动态调整激活函数，显著提升了持续学习能力。

本研究提出VeLU激活函数，通过动态调整输入方差和结合ArcTan-Sin变换，解决了ReLU在梯度流动和优化稳定性方面的不足，实验结果表明其在视觉基准测试中表现优异。

本研究探讨了嵌入式深度神经网络中激活函数的选择，提出使用有界激活函数以提高模型对软错误的鲁棒性，同时保持准确性和计算效率，具有重要应用潜力。

本文探讨深度学习理论中网络输出的分析方法，将随机初始化的多层感知机视为输入的哈密顿量，揭示了能量景观的性质，特别是无限宽度下近全局最小值的结构，并分析了不同激活函数对能量景观的影响。

本文探讨了基于CORDIC的激活函数设计，以满足资源受限系统的需求，促进神经网络加速。介绍的DA-VINCI激活函数为多种AI工作负载提供动态可配置和精度可调的解决方案，显著提升DNN、RNN/LSTM和Transformer的资源效率与质量，NEURIC计算单元展示了98.5%的结果质量。

本研究提出了一种新的初始化方案，解决了深度神经网络中静态激活函数导致的梯度消失和爆炸问题。实验表明，基于Hermite、Fourier和热带多项式的可学习激活函数显著提高了网络的准确性和稳定性。

本研究探讨了深度学习中的grokking现象，提出了StableMax激活函数和$ot$Grad训练算法，以解决数值不稳定性问题并提升泛化速度，提供了新的见解。

本研究提出了一种通过单次前向传播提升贝叶斯深度学习预测效率的方法，利用激活函数的局部线性化和线性层的高斯近似，成功应用于多层感知机和变压器模型的回归与分类任务。

本研究分析隐式神经表示（INR）的技术缺口，建立分类体系，比较不同方法的优缺点，并为未来研究提供方向，特别关注激活函数、位置编码和高维数据的可扩展性。

本研究提出了一种新颖的激活稀疏性度量标准PPL-$p\%$，并通过实验揭示了不同激活函数在训练时间和稀疏性方面的显著差异，为提升大型语言模型的效率和可解释性提供了依据。

研究表明，具有一个隐藏层的神经网络中，激活函数对几何表示的影响超出预期。Tanh网络更倾向于学习目标输出结构，而ReLU网络则保留更多原始输入信息。这种差异源于ReLU的非对称渐近行为，使特征神经元关注输入空间的不同区域。Tanh网络在低维目标输出时生成的神经表示更具解耦性，揭示了输入输出几何、非线性与学习表示之间的关系。