💡
原文中文，约3000字，阅读约需8分钟。
📝
内容提要
本文探讨了低秩适配器（LoRA）在微调中的局限性，并提出了参数冗余微调范式及NoRM算法。NoRM通过奇异值分解（SVD）去除冗余参数，从而提升模型性能。实验结果显示，NoRM在指令微调、数学推理和代码生成任务中优于传统方法，有效减少幻觉噪声，增强模型的泛化能力。
🎯
关键要点
- 低秩适配器（LoRA）在微调中存在局限性，学习到的数据集幻觉噪声影响模型性能。
- 参数冗余微调范式和NoRM算法被提出，以去除冗余参数并提升模型性能。
- NoRM通过奇异值分解（SVD）分解LoRA参数，动态决定主成分数量，增强模型的泛化能力。
- 实验结果显示，NoRM在指令微调、数学推理和代码生成任务中优于传统方法，减少幻觉噪声。
- NoRM能够自适应去除冗余参数，随着可微调参数的增加，性能提升明显，而LoRA性能未见提升趋势。
- NoRM的设计哲学可以迁移到强化学习中，以提升模型在下游任务中的适配性和多任务泛化能力。
❓
延伸问答
什么是参数冗余微调范式？
参数冗余微调范式是一种通过去除冗余参数来提升模型性能的微调方法，结合了低秩适配器（LoRA）和特定算法。
NoRM算法如何提升模型性能？
NoRM算法通过奇异值分解（SVD）去除冗余参数，动态决定主成分数量，从而增强模型的泛化能力。
NoRM在实验中表现如何？
实验结果显示，NoRM在指令微调、数学推理和代码生成任务中均优于传统方法，减少幻觉噪声，提升性能。
低秩适配器（LoRA）在微调中存在哪些局限性？
LoRA在微调中存在幻觉噪声问题，导致可学习参数的性能上限受到限制。
NoRM算法的设计哲学是什么？
NoRM的设计哲学是智能识别并保留最有价值的参数，同时去除负面作用的冗余参数，以提升模型的适配性和泛化能力。
如何将NoRM的设计哲学应用于强化学习？
NoRM的设计哲学可以迁移到强化学习中，通过去除数据中的噪声成分，提升模型在下游任务中的适配性和多任务泛化能力。
➡️
