带权重衰减训练的宽神经网络显著展现神经崩溃的现象

本研究分析了至少包含两个线性层的神经网络，解决了深度神经网络收敛时的神经崩溃问题。结果显示，使用带权重衰减的梯度下降训练可以普遍避免神经崩溃，为理解神经网络训练提供了新视角。