使用SVD进行模型合并以解决问题

本文针对LoRA微调模型合并效果不佳的问题进行了研究，提出了一种新的方法KnOTS，通过SVD对不同LoRA模型的权重进行联合变换，从而提高模型的对齐度。研究表明，KnOTS在多个视觉和语言基准上能够将LoRA合并效果提升多达4.3%，为模型合并领域提供了新的评估标准和显著的改进。