利用合适的缩放因子提高深层宽残差网络的泛化能力
内容提要
本文研究了宽残差网络在球面上的泛化能力，证明了当宽度趋近无穷时，残差网络核收敛于残差神经切向核。研究表明，在早停策略下，宽残差网络能够实现最佳健壮性，并探讨了其与神经切向核回归的关系，分析了核的谱性质，得出残差网络优于非残差网络的结论。
延伸解读
理论核心：RNK与RNTK的收敛关系
文章证明，在ReLU激活下，当宽残差网络的宽度趋于无穷时，其残差网络核（RNK）一致收敛于残差神经切向核（RNTK）。这一结论将宽残差网络的训练动力学与核回归联系起来，意味着网络在无限宽极限下的泛化误差可由RNTK的核回归误差刻画。这为从核视角理解残差网络的泛化行为提供了理论基础。
早停策略与最优健壮性
研究表明，在早停策略下，宽残差网络能够达到最佳健壮性。早停通过限制训练时间避免过拟合，而理论分析显示此时网络的泛化误差接近RNTK核回归误差。相反，若网络过度拟合数据，则无法保证泛化。这提示在实际训练中，合理使用早停可能是提升残差网络健壮性的有效手段。
残差网络优于非残差网络的解释
文章通过分析过度参数化的深层残差网络，证明梯度下降学习的网络类是整个神经网络函数类的一个子集，该子集足够大以保证小的训练误差和测试误差，并且具有小的泛化差距。这为残差网络相对于非残差网络的泛化优势提供了一种解释，即残差连接可能通过限制假设空间来改善泛化性能。
最优缩放参数的理论指导
基于有限尺寸理论，文章研究了残差网络的信号传播及其对残差分支伸缩的依赖，发现最优伸缩参数范围位于最大灵敏度范围内，并给出了一个理论框架来指导ResNets的最优缩放。这一结果有助于在实际中设置残差分支的缩放因子，以平衡信号传播和泛化能力。
Q&A
宽残差网络的泛化能力如何？
宽残差网络在球面上的泛化能力较强，且其泛化误差总是趋近于残差神经切向核的核回归误差。
什么是残差神经切向核？
残差神经切向核是宽残差网络在宽度趋近无穷时的一种收敛形式，反映了网络的泛化特性。
早停策略对宽残差网络有什么影响？
早停策略可以使宽残差网络达到最优的健壮性，防止过度拟合。
为什么残差网络优于非残差网络？
残差网络具有较小的泛化差距，能够在训练和测试中保持较低的误差，因此优于非残差网络。
如何通过有限尺寸理论研究信号传播？
有限尺寸理论用于研究残差网络的信号传播及其对残差分支伸缩的依赖，帮助确定最优伸缩参数范围。
深层残差网络的泛化性能如何与前馈网络比较？
深层残差网络在泛化性能上优于前馈网络，研究提供了数字结果支持这一结论。
