VeLU：用于深度神经网络的方差增强学习单元

本研究解决了深度神经网络中激活函数在梯度流动和优化稳定性方面的不足，尤其是ReLU的缺陷。提出的VeLU通过动态调整输入方差，结合ArcTan-Sin变换和Wasserstein-2正则化，有效缓解协变量偏移并稳定优化。实验表明，VeLU在多项视觉基准测试中显著优于现有激活函数。

本研究提出VeLU激活函数，通过动态调整输入方差和结合ArcTan-Sin变换，解决了ReLU在梯度流动和优化稳定性方面的不足，实验结果表明其在视觉基准测试中表现优异。

ReLU VeLU 梯度流动 激活函数 神经网络 视觉基准测试
原文中文，约300字，阅读约需1分钟。发表于：。
阅读原文
分享给好友