揭示神经网络学习子空间的利用秩
内容提要
本研究探讨了神经网络学习权重如何充分利用可用空间，通过数据驱动的转换保留层的功能映射并揭示低秩结构。发现转换可以减少参数并保持准确性，自监督预训练可以提高利用率，适用于下游任务。
延伸解读
满秩表象下的低效利用
学习权重通常呈现满秩，看似充分利用了参数空间，但本文指出这具有欺骗性。通过数据驱动的变换，将权重投影到数据与权重交互的子空间后，发现大多数模型仅利用了可用空间的一小部分。例如，在ImageNet上训练的ViT-B/16和ViT-L/16，平均层利用率分别仅为35%和20%。这表明满秩并不等同于高效利用，实际有效维度远低于理论容量。
数据驱动变换的压缩潜力
本文提出的变换能保留层的功能映射，因此不改变模型输出，却揭示了权重的低秩结构。利用这一结构，可将ViT-B/16和ViT-L/16的参数分别减少到50%和25%，而微调后准确率下降不到0.2%。这说明在不损失性能的前提下，模型存在显著的参数冗余，为模型压缩提供了新思路。
自监督预训练提升利用率
研究发现，自监督预训练能将层利用率提升至70%，远高于监督训练的35%和20%。这表明自监督学习促使模型更充分地利用参数空间，从而可能学习到更通用、更有效的特征表示。这一发现为自监督预训练在下游任务中的适用性提供了新的解释，也提示利用率可作为衡量预训练质量的一个潜在指标。
Q&A
神经网络的学习权重如何利用可用空间？
神经网络的学习权重通常是满秩的，表面上看似充分利用了空间，但实际上大多数模型只利用了可用空间的一部分。
研究中提出了什么方法来改善权重的空间利用率？
研究提出了一种数据驱动的转换，将权重投影到数据与权重交互的子空间，从而揭示低秩结构并保留层的功能映射。
ViTB-16和ViTL-16模型在ImageNet上的层利用率是多少？
ViTB-16和ViTL-16在ImageNet上的平均层利用率分别为35%和20%。
转换后模型参数减少了多少，准确率变化如何？
转换后，ViTB-16和ViTL-16的参数分别减少到50%和25%，且微调后准确率下降不到0.2%。
自监督预训练如何影响模型的利用率？
自监督预训练可以将模型的利用率提高到70%，证明其适用于下游任务。
研究发现的低秩结构对神经网络有什么意义？
低秩结构的发现表明，神经网络的权重并未充分利用可用空间，可能存在优化的空间。
