戈伯茨线性单元：利用不对称性增强学习动态

本文解决了深度学习中广泛使用的激活函数ReLU所导致的神经元死亡问题，通过提出一种新颖的自门控激活函数戈伯茨线性单元（GoLU），该函数通过其不对称性有效减少潜在空间的方差，同时保持稳健的梯度流。实验结果显示，GoLU在多项任务上超越了当前最先进的激活函数，证明其作为现有激活函数的有效替代选择。