可学习的多项式、三角和热带激活函数

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

本研究提出了一种新的初始化方案,解决了深度神经网络中静态激活函数导致的梯度消失和爆炸问题。实验表明,基于Hermite、Fourier和热带多项式的可学习激活函数显著提高了网络的准确性和稳定性。

🏷️

标签

➡️

继续阅读