通过学习系数量化奇异模型的退化

该研究探讨了深度神经网络在学习过程中的动态，特别关注了二元分类问题。研究发现，在非线性架构下，网络学习的分类误差呈现 sigmoid 形状。同时，研究了梯度饱和现象和特征频率对模型收敛速度的影响，以及交叉熵和hinge损失在生成对抗网络训练中的差异。最后，提出并研究了梯度饥饿现象。