网络碎片化是一个有用的复杂性度量吗?
发表于: 。本研究针对深层神经网络分类器输入空间的“碎片化”现象,探讨其是否可以预测模型的泛化性能。通过一种基于碎片化的复杂性度量,我们在PGDL基准上取得了良好的表现,并提出了碎片化在隐藏表示中也存在,且与训练过程中验证误差趋势相关的重要观察。研究结果表明,碎片化现象值得进一步探讨,以理解深层神经网络的泛化能力。
本研究针对深层神经网络分类器输入空间的“碎片化”现象,探讨其是否可以预测模型的泛化性能。通过一种基于碎片化的复杂性度量,我们在PGDL基准上取得了良好的表现,并提出了碎片化在隐藏表示中也存在,且与训练过程中验证误差趋势相关的重要观察。研究结果表明,碎片化现象值得进一步探讨,以理解深层神经网络的泛化能力。