利用正交性训练低秩神经网络
原文中文,约400字,阅读约需1分钟。发表于: 。该研究通过分析神经网络在训练过程中的权重的奇异值分解 (SVD) 来探究神经网络的学习动力学。我们的调查发现,每个多维权重的 SVD 表示中存在一个正交基,在训练过程中保持稳定。基于此,我们介绍了一种新的训练方法,即利用神经网络的内在正交性的 Orthogonality-Informed Adaptive Low-Rank (OIALR) 训练。OIALR...
该研究通过分析神经网络权重的奇异值分解,探究了神经网络的学习动力学。研究发现,在训练过程中,每个多维权重的SVD表示中存在一个稳定的正交基。基于此,研究提出了一种新的训练方法,即利用神经网络的内在正交性的OIALR训练。通过基准测试,证明了OIALR在各种数据集和网络架构上的准确度损失最小,可以超越传统的训练设置。