用于训练数据归因和研究损失景观的梯度草图
内容提要
该文综述基于Hessian谱的深度学习优化研究，涵盖Hessian迹正则化、SGD训练动态与Hessian及梯度矩阵谱的联合演化、随机投影矩阵期望值的精确表达、Hessian子采样与随机Hadamard变换、加速Hessian草图、损失曲面谱分解、迭代Hessian草图、批归一化对Hessian谱的影响，以及矩阵草图在岭回归和图聚类中的应用，揭示谱分析对提升泛化与优化效率的作用。
延伸解读
Hessian谱分析如何提升泛化能力
文章指出，通过研究每层Hessian的特征谱，可以设计基于Hessian迹的正则化方法，间接迫使SGD收敛到更平坦的极小值，从而提高深度学习模型的泛化性能。这揭示了谱分析在优化与泛化之间的桥梁作用，为理解过参数化网络的训练动态提供了新视角。
SGD训练动态与Hessian、梯度谱的联合演化
文章严格研究了SGD训练中Hessian和梯度矩阵谱的联合演化，发现在多类高维混合和浅层神经网络任务中，SGD轨迹会迅速与低秩异常特征空间对齐。在多层网络中，这种对齐逐层进行，最后一层的异常特征空间在训练中变化，并在收敛到次优分类器时呈现秩亏。这些结果验证了过参数化网络谱研究的预测。
随机投影与矩阵草图的理论进展
文章利用随机矩阵谱分析的最新进展，给出了随机投影矩阵期望值的精确表达式，可用于表征低秩估计和迭代随机优化等任务的降维性能。这些结果适用于高斯和Rademacher草图，并能反映实际性能，甚至体现低阶效应和常数因子，为草图方法的理论分析提供了新工具。
批归一化对Hessian谱及优化速度的影响
文章发现，在非批归一化网络中，Hessian谱中大量孤立特征值以及梯度在相应特征空间中的快速聚集会影响优化速度；而在批归一化网络中，这两种效应几乎不存在。这表明批归一化通过改变Hessian谱的演化，有助于改善优化动力学。
Q&A
基于Hessian迹的正则化方法是如何提升深度学习模型泛化性能的？
该方法通过研究每层的Hessian特征谱，利用Hessian迹正则化间接迫使随机梯度下降收敛到更平坦的最小值，从而提升泛化性能。
SGD训练过程中Hessian和梯度矩阵的谱是如何演化的？
SGD轨迹会迅速与Hessian和梯度矩阵新出现的低秩异常特征空间对齐；在多层网络中，这种对齐逐层进行，最后一层的异常特征空间在训练中变化，并在收敛到次优分类器时呈现秩亏。
随机投影矩阵的期望值表达式在机器学习中有哪些应用？
该表达式可用于表征多种机器学习任务中的降维性能，包括低秩估计和迭代随机优化等，并适用于高斯和Rademacher草图等方法，能反映实际性能甚至体现低阶效应和恒定因子。
在牛顿法中，Hessian子采样和随机Hadamard变换这两种降维方法有什么优势？
通过数值实验和复杂性分析，揭示了使用共轭梯度方法相对于随机梯度迭代方法的优势，这两种方法能有效处理变量和数据点数量都很大的有限和最优化问题。
批归一化如何影响深度神经网络中Hessian谱的演化？
对于非批归一化网络，谱中大量孤立特征值以及聚集在相应特征空间中的梯度的快速出现会影响优化速度；而在批归一化网络中，这两种效应几乎不存在。
矩阵草图方法在大规模图聚类中有什么效果？
基于矩阵草图的方法能解决大规模图分析中传统方法遇到的挑战，特别是无监督学习的社区结构划分问题，实验表明该方法在分配内存中可以获得出色的聚类效果，同时提高聚类速度。
