神经网络权重矩阵的 Hessian 特征向量和主成分分析

该研究探讨了深度神经网络的训练和网络参数之间的复杂动力学关系，发现训练网络往往沿着单一方向进行训练，被称为漂移模式。通过损失函数的二次势模型，解释了这种漂移模式，并提出其向潜在值的指数级缓慢衰减。通过奇异值分解，对权重矩阵进行了分解，以实用的方式识别 Hessian 内的关键方向，同时考虑其大小和曲率。最后，提出了一种有效的策略来缓解神经网络在学习新任务时遗忘之前任务知识的挑战。