利用主成分分析探索神经网络的学习表示

本研究使用PCA研究ResNet-18在CIFAR-10上的逐层学习表示对分类器性能的影响。研究发现，20%的中间特征空间方差即可实现高精度分类，前100个主成分完全决定了k-NN和NCC分类器的性能。研究还提供了中间神经崩溃相关现象的部分证据，并展示了利用代理模型来估计DNN中可能开始出现神经崩溃的聪明方法。