本研究提出了一种新的初始化方案，解决了深度神经网络中静态激活函数导致的梯度消失和爆炸问题。实验表明，基于Hermite、Fourier和热带多项式的可学习激活函数显著提高了网络的准确性和稳定性。

本研究总结了神经网络中非线性激活函数的使用情况，并在MNIST分类任务上进行了实证分析，确定最佳函数。研究还探讨了深度架构和初始化方案对神经网络的影响，提供了一个在MNIST分类任务中获得高准确度的最优神经网络架构。