非可微性对神经网络训练的影响有三个方面：连续可微的网络收敛速度更快，深度学习求解器对$L_{1}$正则化问题的解是错误的，凸性非光滑的Lipschitz连续函数显示不稳定的收敛。研究结果表明，在训练过程中考虑神经网络的非线性是关键。