本文综述基于奇异值分解（SVD）的神经网络压缩与训练方法。SVD training通过正交正则化和奇异值剪枝降低矩阵秩，减轻计算负担；加权SVD可压缩Transformer语言模型；OIALR利用权重SVD的正交稳定性改进训练。无特征分解方法解决了深度网络中特征分解难优化的问题，基于SVD的参数化还能缓解梯度消失与爆炸，提升泛化性能。

该文综述基于奇异值分解与正交正则化的神经网络压缩与优化研究：利用正交正则化、奇异值剪枝和低秩训练降低权重矩阵秩以减少计算负担；提出牛顿迭代正交化、Pre-SVD正交梯度、正交深度网络等方法提升泛化与鲁棒性；并探讨低秩初始化、t-SVD鲁棒泛化、ReLU网络隐性偏差及加权SVD压缩Transformer语言模型，兼顾精度、鲁棒性与效率。