BriefGPT - AI 论文速递
·
CopRA：渐进式LoRA训练策略
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本研究提出了一种新的渐进式LoRA训练策略CopRA，旨在解决标准LoRA训练中模型快速收敛于局部最优的问题。实验结果表明，CopRA在模型合并和剪枝任务中表现优异。
🎯
关键要点
- 本研究提出了一种新的渐进式LoRA训练策略CopRA。
- CopRA旨在解决标准LoRA训练中模型快速收敛于局部最优的问题。
- 局部最优可能不适用于超出分布的数据或合并、剪枝等任务。
- CopRA通过随机层丢弃优化每层的Shapley值，将每层视为合作博弈中的参与者。
- 实验结果表明，CopRA训练的参数表现出线性模式连通性。
- CopRA实现了高效的模型合并，并在剪枝任务中展现出优越的性能。
➡️
