协同协方差和海森矩阵的特征分析以提高二分类效果
内容提要
该文综述深度学习训练动力学：SGD轨迹快速对齐Hessian与梯度矩阵的低秩异常特征空间，且逐层发生；训练常沿单一漂移模式，Hessian特征向量与权重相关，大特征值集中于深层，据此可缓解灾难性遗忘。文中还介绍GO-LDA、NL-RLDA、DeepLDA、MCDA等判别分析方法及Hessian谱正则化，以提升分类与泛化性能。
延伸解读
训练动力学中的谱对齐现象
文章指出，SGD轨迹会迅速与Hessian和梯度矩阵的低秩异常特征空间对齐，且这种对齐在多层网络中逐层发生。最后一层的异常特征空间在训练中变化，并在收敛到次优分类器时呈现秩亏。这为理解过参数化网络的训练过程提供了谱视角，也解释了为何训练常沿单一漂移模式进行。
Hessian特征值与网络层深的关联
研究发现，Hessian特征向量与网络权重相关，且这种关系取决于特征值大小。更大的特征值更集中在深层，各层最大Hessian特征值与整个网络存在相似性。这一规律有助于识别网络内的关键参数方向，并为逐层分析训练动态提供了依据。
缓解灾难性遗忘的策略
基于对Hessian谱和训练动力学的发现，文章提出了一种缓解神经网络在学习新任务时遗忘旧知识的策略。该策略利用Hessian特征向量与权重的相关性来识别重要参数方向，并可适用于不同规模的网络，包括更大的架构。
判别分析方法与Hessian谱正则化
文章综述了GO-LDA、NL-RLDA、DeepLDA、MCDA等判别分析方法，这些方法通过正交鉴别方向、正半定岭估计、深度线性潜在表示等提升分类性能。同时，基于Hessian trace的正则化可迫使SGD收敛到更平坦的最小值，从而提高泛化能力。
Q&A
SGD训练时，Hessian和梯度矩阵的谱是如何演化的？
SGD轨迹会迅速与Hessian和梯度矩阵新出现的低秩异常特征空间对齐，这种对齐在多层网络中逐层进行，最后一层的异常特征空间在训练中变化，并在收敛到次优分类器时呈现秩亏。
深度神经网络训练中为什么会出现漂移模式？
训练网络往往沿着单一方向进行训练，称为漂移模式。通过损失函数的二次势模型可以解释这种漂移模式，并表明其向潜在值的指数级缓慢衰减。
Hessian特征向量与网络权重之间有什么关系？
Hessian特征向量与网络权重之间存在相关性，该关系取决于特征值的大小，使我们能够识别网络内的参数方向。此外，各层最大的Hessian特征值与整个网络有相似性，更大的特征值更集中在深层。
如何利用Hessian谱分析来缓解灾难性遗忘？
基于对Hessian特征向量与权重关系以及特征值分布的理解，可以提出一种有效策略来缓解神经网络在学习新任务时遗忘之前任务知识的问题，该策略适用于不同规模的网络，包括更大的架构。
有哪些基于Hessian谱的正则化方法可以提升泛化性能？
一种基于Hessian trace的正则化方法，通过研究每层的Hessian eigenspectrum，可以间接迫使SGD收敛到更平的最小值，从而提高深度学习模型的泛化性能。
GO-LDA、NL-RLDA、DeepLDA和MCDA这些判别分析方法各有什么特点？
GO-LDA通过构造正交鉴别方向最大化Fisher准则，提高多类别分类准确性；NL-RLDA利用正半定岭估计器和非线性协方差矩阵估计器，在合成和真实数据上表现优异；DeepLDA在深度神经网络中学习可分离的线性潜在表示，在MNIST和CIFAR-10上取得竞争性结果，在STL-10上优于交叉熵训练；MCDA基于调和均值，用于图像分类和多标签降维，在分类准确率和F1 score上优于其他方法。
