正则化梯度剪裁能可靠地训练宽且深的神经网络

我们证明了基于正则化的梯度剪裁算法可以收敛于深度神经网络损失函数的全局最小值，只要网络具有足够的宽度，并且通过实证证明这一算法在深度学习中与现有的启发式方法相竞争，因此这一算法构成了一种新的严谨深度学习方法。