该研究探讨了深度神经网络训练及其与网络参数之间的复杂动力学关系。研究发现训练网络往往呈现漂移模式，沿着单一方向进行训练，并提出了指数级缓慢衰减的潜在值。通过分解权重矩阵和识别 Hessian 特征向量，揭示了网络内的参数方向。基于这些发现，提出了一种有效的策略来缓解神经网络在学习新任务时遗忘之前任务知识的挑战。