深度学习模型参数不断增加，需要有效的压缩技术以适应资源有限的设备。本文探讨信息几何在模型压缩中的应用，重点分析操作因子分解。我们认为，许多成功的压缩方法隐含近似信息散度。在压缩预训练模型时，信息散度对提高零-shot准确率至关重要，而在微调时，模型的可训练性更为重要。我们证明了在软秩约束下，迭代奇异值阈值化的收敛性，并展示了通过软秩降低对现有方法的简单修改可以在固定压缩率下提高性能。