非可微对神经网络训练的三种影响

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

非可微性对神经网络训练的影响有三个方面:连续可微的网络收敛速度更快,深度学习求解器对$L_{1}$正则化问题的解是错误的,凸性非光滑的Lipschitz连续函数显示不稳定的收敛。研究结果表明,在训练过程中考虑神经网络的非线性是关键。

🏷️

标签

➡️

继续阅读