利用正交性训练低秩神经网络
内容提要
该文综述基于奇异值分解与正交正则化的神经网络压缩与优化研究：利用正交正则化、奇异值剪枝和低秩训练降低权重矩阵秩以减少计算负担；提出牛顿迭代正交化、Pre-SVD正交梯度、正交深度网络等方法提升泛化与鲁棒性；并探讨低秩初始化、t-SVD鲁棒泛化、ReLU网络隐性偏差及加权SVD压缩Transformer语言模型，兼顾精度、鲁棒性与效率。
延伸解读
正交正则化：从训练源头控制矩阵秩
文章指出，SVD training 通过正交性正则化和奇异值剪枝，在训练过程中显式降低权重矩阵的秩。这意味着压缩不是训练后的补救措施，而是融入优化目标。对读者而言，这提示低秩网络的设计可以前置到训练阶段，而非仅依赖事后分解，从而更直接地减少推理计算负担。
低秩压缩的鲁棒性代价与补救
文章提到，低秩矩阵分解容易导致模型鲁棒性问题，并为此提出基于鲁棒低秩矩阵训练的算法，通过施加近似正交约束来平衡低秩表示与模型精度。这提醒读者：追求压缩率时不能忽视鲁棒性，正交约束可作为维持低秩模型稳定性的手段。
正交化方法在不同网络中的适用性
文章列举了牛顿迭代正交化（ONI）、Pre-SVD 正交梯度、正交深度网络（OrthDNNs）等方法，分别用于提升图像分类网络、GANs、视觉识别中的协方差条件与泛化能力。这表明正交性并非单一技巧，而是可根据网络类型和训练目标选择不同实现路径的通用思路。
低秩训练的理论边界与扩展
文章还涉及 t-SVD 对 t-NNs 对抗泛化的影响、ReLU 网络隐性偏差收敛到秩 1 矩阵的现象，以及加权 SVD 压缩 Transformer 语言模型。这些内容说明低秩训练既有理论上的收敛行为，也有面向 Transformer 的实用压缩方案，但效果依赖具体条件，并非无条件成立。
Q&A
SVD training 方法是如何实现神经网络压缩的？
SVD training 通过正交性正则化和奇异值剪枝等技术，在训练过程中显式地降低权重矩阵的秩，从而减少深度神经网络的计算负担，实现更有效的压缩。
牛顿迭代正交化（ONI）有什么作用？
ONI 通过牛顿迭代法控制权重矩阵的正交性，同时保持模型的表征能力，能有效提高图像分类网络和生成对抗网络（GANs）的性能。
低秩矩阵分解为什么可能损害模型鲁棒性？如何解决？
低秩矩阵分解容易导致模型鲁棒性下降。为此，提出基于鲁棒低秩矩阵训练的算法，通过施加近似正交约束，在保证低秩表示与近似完整模型之间精度的同时，降低推理和训练成本并提高鲁棒性。
Pre-SVD 层中的正交梯度（NOG）和最优学习速率（OLR）有什么用途？
它们用于改善 SVD 元层对神经网络协方差的条件约束，通过引入 Pre-SVD 层的正交性，提高视觉识别中协方差条件和泛化能力。
正交深度神经网络（OrthDNNs）如何提升泛化性能？
OrthDNNs 与光谱正则化方法相联系，证明神经网络具有局部等距性和不变性，并通过基于等奇异值的正交权重矩阵和 Bounded Batch Normalization 来提高深度神经网络的泛化性能。
t-SVD 对 t-product 层神经网络（t-NNs）的对抗泛化有何影响？
使用精确变换低秩参数化的 t-NNs 能提高对抗泛化性能；即使 t-NNs 很少具有完全变换低秩权重，通过梯度流的对抗训练也能获得类似效果，表明变换低秩参数化在一定条件下可提升鲁棒泛化性能。
ReLU 网络训练中的隐性偏差具体指什么？
隐性偏差指在梯度流和梯度下降极限情况下，使用对数或指数损失函数对线性可分数据训练时，深度线性网络的权重收敛于秩1矩阵的现象；研究探究了该现象是否发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，并提出了一些训练不变性，以特定参数方向收敛的常数权重和多线性函数作为论据进行证明。
加权奇异值分解如何压缩 Transformer 语言模型？
该方法考虑神经网络参数的不平等重要性，解决没有封闭形式解决方案的非凸优化问题，对 Transformer 语言模型进行加权 SVD 压缩。实验表明，相较于传统 SVD 方法，在压缩 Transformer 语言模型时能获得更好的效果。
