ICLR 2025 Spotlight | 参数高效微调新范式！上海交大联合上海AI Lab推出参数冗余微调算法
内容提要
本文探讨了低秩适配器（LoRA）在微调中的局限性，并提出了参数冗余微调范式及NoRM算法。NoRM通过奇异值分解（SVD）去除冗余参数，从而提升模型性能。实验结果显示，NoRM在指令微调、数学推理和代码生成任务中优于传统方法，有效减少幻觉噪声，增强模型的泛化能力。
关键要点
-
低秩适配器（LoRA）在微调中存在局限性，学习到的数据集幻觉噪声影响模型性能。
-
参数冗余微调范式和NoRM算法被提出，以去除冗余参数并提升模型性能。
-
NoRM通过奇异值分解（SVD）分解LoRA参数，动态决定主成分数量，增强模型的泛化能力。
-
实验结果显示，NoRM在指令微调、数学推理和代码生成任务中优于传统方法，减少幻觉噪声。
-
NoRM能够自适应去除冗余参数，随着可微调参数的增加，性能提升明显，而LoRA性能未见提升趋势。
-
NoRM的设计哲学可以迁移到强化学习中，以提升模型在下游任务中的适配性和多任务泛化能力。
延伸解读
低秩适配器的局限性
低秩适配器（LoRA）在微调中虽然能以较少的参数实现高性能，但其学习过程中会引入数据集中的幻觉噪声，限制了模型的性能上限。研究者指出，LoRA的可学习秩设置过小，导致知识学习不足，影响了最终效果。
NoRM算法的优势
NoRM算法通过奇异值分解（SVD）有效去除冗余参数，提升了模型在指令微调、数学推理和代码生成等任务中的表现。实验结果显示，NoRM在多个基模型上均优于传统方法，表明其在处理冗余参数方面的有效性。
微调参数的自适应去除
NoRM能够根据可微调参数的变化，自适应去除冗余部分，从而提升模型性能。与LoRA相比，NoRM在增加可微调参数时性能显著提升，而LoRA则未见明显改善，显示出NoRM在参数管理上的灵活性和优势。
延伸问答
什么是参数冗余微调范式？
参数冗余微调范式是一种通过去除冗余参数来提升模型性能的微调方法，结合了低秩适配器（LoRA）和特定算法。
NoRM算法如何提升模型性能？
NoRM算法通过奇异值分解（SVD）去除冗余参数，动态决定主成分数量，从而增强模型的泛化能力。
NoRM在实验中表现如何？
实验结果显示，NoRM在指令微调、数学推理和代码生成任务中均优于传统方法，减少幻觉噪声，提升性能。
低秩适配器（LoRA）在微调中存在哪些局限性？
LoRA在微调中存在幻觉噪声问题，导致可学习参数的性能上限受到限制。
NoRM算法的设计哲学是什么？
NoRM的设计哲学是智能识别并保留最有价值的参数，同时去除负面作用的冗余参数，以提升模型的适配性和泛化能力。
如何将NoRM的设计哲学应用于强化学习？
NoRM的设计哲学可以迁移到强化学习中，通过去除数据中的噪声成分，提升模型在下游任务中的适配性和多任务泛化能力。
