BriefGPT - AI 论文速递
·
VeLU: A Variance Enhanced Learning Unit for Deep Neural Networks
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出VeLU激活函数，通过动态调整输入方差和结合ArcTan-Sin变换，解决了ReLU在梯度流动和优化稳定性方面的不足，实验结果表明其在视觉基准测试中表现优异。
🎯
关键要点
- 本研究提出VeLU激活函数，旨在解决ReLU在梯度流动和优化稳定性方面的不足。
- VeLU通过动态调整输入方差，结合ArcTan-Sin变换和Wasserstein-2正则化，缓解协变量偏移。
- 实验结果表明，VeLU在多项视觉基准测试中表现优异，显著优于现有激活函数。
➡️
