基于切空间敏感性的 ReLU 网络的优化相关泛化界
原文中文，约400字，阅读约需1分钟。发表于：。最近深度学习取得了一些极有前途的成果，尤其是在深度神经网络的泛化能力方面，然而相关文献中仍缺乏一种全面的理论来解释为什么过度参数化的模型能够在拟合训练数据的同时表现出良好的泛化能力。本文通过估计通过梯度下降从初始参数向量获得的网络集合的 Rademacher 复杂度，提出了对前馈 ReLU 网络的泛化误差进行 PAC...
本文提出了一种对前馈 ReLU 网络的泛化误差进行 PAC 类型边界的方法，通过估计网络集合的 Rademacher 复杂度来解释过度参数化的模型能够在拟合训练数据的同时表现出良好的泛化能力。实验证实了该方法在 MNIST 和 CIFAR-10 数据集上的有效性。
