剖析残差学习的内幕
内容提要
该文综述残差网络研究，比较ResNets与PlnNets性能，指出其泛化优势与噪音容错相关；证明残差连接不增加假设复杂性并给出泛化界；分析深层极限收敛性、与RNN及视觉皮层的关系、跳转连接的作用，并扩展SNN深度，从神经切向核角度解释泛化优势。
延伸解读
残差连接为何不增加假设复杂性
文章指出，即使固定权重矩阵和非线性函数的总数，残差连接也不会增加神经网络的假设复杂性。这一结论基于假设空间覆盖数的分析，并由此推导出ResNet等多类泛化界。这意味着残差结构本身不会让模型更复杂，反而为泛化性能提供了理论保障。
泛化优势与噪音容错的关系
研究比较了ResNets和PlnNets，发现ResNets泛化能力更强，并猜测这与较高的噪音容错能力有关，且通过实验支持了该猜想。这提示我们，残差网络的鲁棒性可能是其泛化优势的重要来源，而不仅仅是深度或参数量的影响。
深层极限下的收敛性
文章提到，深度残差单元的非线性残差表现出优化行为，极小化问题形成凸起，且在标准随机梯度下降下可实现比任何线性预测器更好的目标值。此外，深层级极限下优化参数是收敛的，这为极深ResNet的训练稳定性提供了理论依据。
跨领域启示：从RNN到SNN
文章探讨了ResNet与RNN及灵长类视觉皮层的关系，提出结合浅层RNN与ResNet的新架构，并在CIFAR-10和ImageNet上验证有效。同时，通过新残差块扩展SNN深度，获得高准确率和低能耗。这些跨领域应用展示了残差思想的广泛适用性。
Q&A
ResNets 和 PlnNets 在性能上有什么主要区别？
ResNets 在训练效率、泛化能力和容错率上均优于 PlnNets，且其泛化优势可能与更高的噪音容错能力有关。
残差连接会增加神经网络的假设复杂性吗？
不会。即使固定权重矩阵和非线性函数的总数，残差连接也不会增加神经网络的假设复杂性，并且基于假设空间覆盖数可以得到 ResNet 等多类泛化界。
深度残差网络的优化参数在深层极限下会收敛吗？
会。研究证明残差神经网络模型的优化参数在深层级极限的情况下是收敛的，并且深度残差单元的非线性残差表现出优化行为，极小化问题形成凸起。
残差网络与循环神经网络及视觉皮层有什么关系？
研究提出了将浅层 RNN 与 ResNet 结合以及基于 RNN 的新型架构，并在 CIFAR-10 和 ImageNet 上验证了有效性，揭示了 ResNet、RNN 和灵长类视觉皮层之间的联系。
残差跳转连接在残差网络中起什么作用？
残差跳转连接强制不同层次的卷积层区分特征，使网络能够慢慢学习局部特征并学习整个物体的全局特征，符合卷积神经网络的普适性。
如何将残差块应用于脉冲神经网络（SNN）？
通过提出一种新的残差块并将其应用于神经形态计算的 SNN，成功扩展了 SNN 的深度，获得了较高的准确率和极低的能量消耗。
从神经切向核角度如何解释深度残差网络的泛化优势？
该论文从神经切向核的角度研究了深层残差网络相对于前馈网络的泛化性能优势，并给出了数字结果支持。
