基于切空间敏感性的 ReLU 网络的优化相关泛化界

BriefGPT - AI 论文速递 · 2023-10-26T00:00:00Z

本文提出了一种对前馈 ReLU 网络的泛化误差进行 PAC 类型边界的方法，通过估计网络集合的 Rademacher 复杂度来解释过度参数化的模型能够在拟合训练数据的同时表现出良好的泛化能力。实验证实了该方法在 MNIST 和 CIFAR-10 数据集上的有效性。