通过损失景观和海森矩阵分析研究神经网络的泛化能力

本文研究了神经网络的泛化能力，使用了改进的PyTorch库的损失景观分析（LLA）。研究发现传统的损失景观可视化方法在具有批归一化层的网络体系结构中并不总能确保正确可视化，而海森矩阵的使用可以缓解这一问题。通过对海森矩阵特征值分解谱的研究，提出了一种定量标准来评价神经网络的性能和泛化能力，实验表明这些标准与准确率变化相关联，具有计算效率高的优点。