揭示神经网络学习子空间的利用秩
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
本研究探讨了神经网络学习权重如何充分利用可用空间，通过数据驱动的转换保留层的功能映射并揭示低秩结构。发现转换可以减少参数并保持准确性，自监督预训练可以提高利用率，适用于下游任务。
🎯
关键要点
-
本研究探讨神经网络学习权重如何利用可用空间。
-
学习权重通常是满秩的，表面上看似充分利用了空间。
-
提出了一种数据驱动的转换，将权重投影到数据与权重交互的子空间。
-
该转换保留了层的功能映射，并揭示了低秩结构。
-
研究发现，大多数模型只利用了可用空间的一部分，例如ViTB-16和ViTL-16在ImageNet上的平均层利用率分别为35%和20%。
-
转换后，参数减少到50%和25%，且微调后准确率下降不到0.2%。
-
自监督预训练可以将利用率提高到70%，证明其适用于下游任务。
➡️
