💡
原文中文，约1200字，阅读约需3分钟。
📝
内容提要
本文介绍了复旦大学和上海交通大学的研究团队提出的参数冗余微调范式及NoRM算法，旨在提升低秩适配器（LoRA）的微调性能。研究表明，随机删除LoRA参数可提高模型性能，并通过SVD分解和Sim-Search方法优化冗余参数。实验结果显示，NoRM在多个任务上优于传统LoRA方法。
🎯
关键要点
- 复旦大学和上海交通大学的研究团队提出了参数冗余微调范式及NoRM算法。
- 低秩适配器（LoRA）在微调中实现了约5%的可训练参数达到90%的性能。
- LoRA训练中可学习参数会学习到数据集中的幻觉噪声，限制了性能上限。
- 参数冗余微调通过冗余参数提升模型性能，解决了LoRA的性能瓶颈。
- NoRM算法通过SVD分解LoRA参数，并使用Sim-Search方法动态决定主成分数量。
- 实验结果显示，NoRM在指令微调、数学推理和代码生成任务上优于传统LoRA方法。
- 研究者通过随机删除LoRA参数的方式探究微调过程中的冗余现象，发现随机删除能够提升模型性能。
- 不同层和模块之间删除LoRA参数对性能的影响呈现一定规律。
➡️
