BriefGPT - AI 论文速递 · 2024-10-30T00:00:00Z

CopRA：渐进式LoRA训练策略

📝

内容提要

本研究提出了一种新的渐进式LoRA训练策略CopRA，旨在解决标准LoRA训练中模型快速收敛于局部最优的问题。实验结果表明，CopRA在模型合并和剪枝任务中表现优异。

🏷️

标签

CopRA LoRA 剪枝 模型合并 训练策略