利用正交性训练低秩神经网络

该研究通过分析神经网络权重的奇异值分解，探究了神经网络的学习动力学。研究发现，在训练过程中，每个多维权重的SVD表示中存在一个稳定的正交基。基于此，研究提出了一种新的训练方法，即利用神经网络的内在正交性的OIALR训练。通过基准测试，证明了OIALR在各种数据集和网络架构上的准确度损失最小，可以超越传统的训练设置。