深度神经网络中的非线性尖峰协方差矩阵与信号传播
内容提要
该文综述随机矩阵谱理论在神经网络中的应用，重点研究共轭核与神经切向核的特征值分布，证明在随机初始化、近似正交输入及宽度线性增长下，核谱收敛到确定性极限，并揭示核谱聚类、泛化边界及训练动力学等性质。
延伸解读
理论前提与适用范围
文章的核心结论建立在三个渐近条件上：随机初始化权重、输入样本近似成对正交、网络宽度与样本量线性增长。这些条件在理论分析中常见，但实际网络往往存在权重相关性、输入非正交且宽度有限。因此，CK和NTK谱收敛到确定性极限的结论应视为理想化基准，而非对任意实际网络的直接保证。
CK极限的迭代结构
文章指出CK的极限分布可通过在隐藏层之间迭代Marcenko-Pastur映射来描述。这意味着深层网络的核谱并非简单叠加，而是逐层变换的结果。读者可借此理解深度如何通过重复的谱映射改变核的特征值分布，进而影响核的表示能力与训练行为。
核谱聚类的启示与风险
文章将核谱聚类与尖峰随机矩阵模型类比，证明某些孤立特征值-特征向量对携带聚类信息，并精确评估其位置和内容。这揭示了核谱聚类有效性的理论依据，同时也提示存在“破坏性”方面：当特征值结构不满足可分离条件时，聚类信息可能被淹没或误导。
泛化边界与训练动力学的关联
文章从谱角度分析初始化分布、训练和泛化特性，并提及核谱聚类、泛化边界及训练动力学等性质。这表明核矩阵的特征值分布不仅决定聚类表现，还可能影响泛化误差的估计和训练过程的稳定性。读者可关注谱结构与这些下游任务之间的理论联系。
Q&A
共轭核（CK）和神经切向核（NTK）的特征值分布在什么条件下会收敛到确定性极限？
在随机初始化权重、输入样本具有近似成对正交性、且网络宽度与样本大小成线性增长的渐近情况下，CK和NTK的特征值分布会收敛到确定性极限。
CK的极限情况是如何描述的？
CK的极限情况是通过在隐藏层之间迭代Marcenko-Pastur映射来描述的。
核谱聚类中，哪些特征值-特征向量对携带聚类信息？
在核谱聚类中，一些孤立特征值-特征向量对携带聚类信息，这些特征值的位置和特征向量内容可以通过尖峰随机矩阵模型精确评估。
过度参数化CNN架构的核特征值如何随层级特征组合衰减？
通过各自的高斯过程和神经切向核，过度参数化CNN架构的核特征值随着层级特征的组合而多项式地衰减。
什么是“懒散”特征值谱？它对深度学习模型泛化性能有什么影响？
“懒散”特征值谱是指输入相关矩阵的特征值谱具有指数级范围的均匀分布特征，这种结构体现在训练网络的Hessian矩阵和Fisher信息矩阵的特征值谱中。非懒散的训练集可能导致深度学习模型泛化性能降低。
在随机矩阵的有限低秩扰动中，极端特征值有什么渐近行为？
在随机矩阵的有限低秩扰动中，扰动的矩阵极端特征值收敛于非随机值，并且存在相变现象，临界点与积分变换有关。
