通过嵌套低秩逼近的神经网络进行运算员 SVD
内容提要
本文综述基于奇异值分解（SVD）的神经网络压缩与训练方法。SVD training通过正交正则化和奇异值剪枝降低矩阵秩，减轻计算负担；加权SVD可压缩Transformer语言模型；OIALR利用权重SVD的正交稳定性改进训练。无特征分解方法解决了深度网络中特征分解难优化的问题，基于SVD的参数化还能缓解梯度消失与爆炸，提升泛化性能。
延伸解读
SVD训练：显式降秩与正交正则
SVD training通过正交性正则化和奇异值剪枝，在训练中显式降低矩阵秩，从而减少深度神经网络在低性能设备上的计算负担。这种方法直接针对模型压缩，与仅对训练后权重进行SVD的传统做法不同，它让网络在训练过程中就趋向低秩结构，可能更有效地平衡精度与效率。
加权SVD：针对Transformer的压缩策略
针对Transformer语言模型，加权SVD方法考虑了参数的不平等重要性，并处理了没有封闭形式解的非凸优化问题。实验表明，相比传统SVD，该方法在压缩Transformer时能获得更好的效果。这提示读者，在压缩复杂模型时，简单地对所有权重一视同仁可能不是最优选择。
OIALR：利用训练中稳定的正交基
研究发现，多维权重的SVD表示中存在一个在训练过程中保持稳定的正交基。基于此的OIALR训练方法可以无缝集成到现有工作流中，准确度损失最小，且通过超参数调整可超越传统训练设置。这为改进训练动力学提供了一种新思路，即利用网络内在的正交性来指导低秩适应。
SVD参数化：缓解梯度问题与提升泛化
基于SVD的转移矩阵参数化方法通过显式控制奇异值，来解决训练中的梯度消失和梯度爆炸问题。实验显示，该方法具有更快的收敛速度和更好的泛化性能，尤其在捕捉长程依赖关系方面表现较好。这表明SVD不仅用于压缩，还能作为改善优化过程的工具。
Q&A
SVD training 是什么？它如何帮助压缩神经网络？
SVD training 是一种神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，在训练过程中显式降低矩阵秩，从而减少深度神经网络在低性能设备上的计算负担。
加权SVD如何用于压缩Transformer语言模型？
加权SVD方法考虑了神经网络参数的不平等重要性，并解决了没有封闭形式解的非凸优化问题，在压缩Transformer语言模型时比传统SVD方法效果更好。
OIALR训练方法是什么？它有什么优势？
OIALR（Orthogonality-Informed Adaptive Low-Rank）训练利用神经网络权重SVD表示中稳定的正交基，可无缝集成到现有训练工作流中，准确度损失最小，通过超参数调整可超越传统训练设置，包括最先进的模型。
基于SVD的参数化如何解决梯度消失和爆炸问题？
基于SVD的转移矩阵参数化方法通过显式控制奇异值来解决训练中的梯度消失和梯度爆炸问题，实验表明该方法具有更快的收敛速度和更好的泛化性能，尤其在捕捉长程依赖关系方面表现较好。
无特征分解方法在深度学习中解决了什么问题？
无特征分解方法解决了深度学习框架中特征分解操作难以优化的问题，使得可以在网络中显式编码已知的几何概念，并在关键点匹配和姿态估计等任务中取得了最新成果。
t-SVD对t-NNs的对抗泛化性能有什么影响？
使用精确变换低秩参数化的t-NNs能提高对抗泛化性能，即使t-NNs很少具有完全变换低秩权重，通过梯度流的对抗训练也能得到类似效果，表明变换低秩参数化在一定条件下可提高t-NNs的鲁棒泛化性能。
