BriefGPT - AI 论文速递 ·
AdaResNet：通过动态权重调整增强残差网络以改善特征整合
原文中文，约600字，阅读约需2分钟。
📝 内容提要
本文通过使用剩余雅可比矩阵对ResNet架构进行实证研究，揭示了Residual Alignment (RA)的四个特征。RA在泛化良好的模型中始终存在，但一旦跳跃连接被移除，RA将不再出现。该现象揭示了ResNet的残差分支之间的强大对齐性（RA2+4），将中间表示沿着网络线性推进（RA1）直到最后一层，在最后一层中，它们经历了神经崩溃（Neural Collapse）。
