透明信息瓶颈下的解耦表示学习

该文介绍了深度神经网络中学习表示的信息最小性和不变性，以及通过正则化损失限制过拟合项的两种等效方式。作者展示了神经网络中学习到的表示组件的不变性和独立性在权重中的信息上限和下限是有界的。该理论能够量化和预测使用正则化损失时欠拟合和过拟合之间的尖锐相变，并阐明了损失函数、学习表示和泛化误差之间的关系。