深度神经网络中的非线性尖峰协方差矩阵与信号传播

本文研究了线性特征映射非线性版本的尖峰协方差模型，包括共轭核作为特例，并描述了在神经网络隐藏层中输入数据的尖峰特征值和特征向量的传播方式。研究了一种简单的表示学习模式，其中权重矩阵在训练过程中发展出一个秩为一的信号成分，并描述了目标函数与测试数据上的共轭核的尖峰特征向量之间的对齐。