深度神经网络的信息论泛化界
原文中文，约500字，阅读约需2分钟。发表于：。深度神经网络在实际应用中表现出卓越的泛化能力，本研究旨在通过信息理论的泛化界限来捕捉深度对于监督学习的影响和益处。通过从网络内部表示的训练和测试分布的 Kullback-Leibler（KL）散度或 1-Wasserstein 距离导出了两个层次性的泛化误差界限。KL 散度界限随着层索引的增加而收缩，而 Wasserstein 界限暗示了存在一个层作为泛化漏斗，它达到了最小的...
本研究通过信息理论的泛化界限来研究深度神经网络对监督学习的影响和益处。通过分析三个正则化DNN模型的连续层之间的数据处理不等式系数，量化了相关信息度量在网络深入时的收缩情况。结果显示，更深而较窄的网络架构具有更好的泛化能力。
