揭示神经网络学习子空间的利用秩

This paper has been accepted at the Efficient Systems for Foundation Models workshop at ICML 2024. In this work, we study how well the learned weights of a neural network utilize the space...

本研究探讨了神经网络学习权重如何充分利用可用空间,通过数据驱动的转换保留层的功能映射并揭示低秩结构。发现转换可以减少参数并保持准确性,自监督预训练可以提高利用率,适用于下游任务。

揭示神经网络学习子空间的利用秩
原文英文,约300词,阅读约需1分钟。发表于:
阅读原文