AdaResNet：通过动态权重调整增强残差网络以改善特征整合
原文中文，约600字，阅读约需2分钟。发表于：。本研究解决了非常深的神经网络在反向传播过程中梯度变得极小的问题，从而难以训练早期层的问题。我们提出的AdaResNet通过动态调整输入数据与变换数据之间的比率，基于训练数据自适应调整，显著改善了特征整合。实验结果表明，与传统的ResNet相比，AdaResNet的准确性最高提高超过50%。
本文通过使用剩余雅可比矩阵对ResNet架构进行实证研究，揭示了Residual Alignment (RA)的四个特征。RA在泛化良好的模型中始终存在，但一旦跳跃连接被移除，RA将不再出现。该现象揭示了ResNet的残差分支之间的强大对齐性（RA2+4），将中间表示沿着网络线性推进（RA1）直到最后一层，在最后一层中，它们经历了神经崩溃（Neural Collapse）。
