深度神经网络的信息论泛化界

本研究通过信息理论的泛化界限来研究深度神经网络对监督学习的影响和益处。通过分析三个正则化DNN模型的连续层之间的数据处理不等式系数，量化了相关信息度量在网络深入时的收缩情况。结果显示，更深而较窄的网络架构具有更好的泛化能力。