BriefGPT - AI 论文速递
·
基于LoRA的持续学习与关键参数变化的约束
📝
内容提要
该研究解决了在基于LoRA的持续学习中，关键参数在后任务学习后依然显著变化的问题。提出通过冻结视觉变换器中最关键的参数矩阵，并在正交LoRA调优的基础上，提出了正交LoRA组合（LoRAC），以进一步增强方法的灵活性。实验结果表明，该方法在多个持续学习基准测试中达到了SOTA性能，显著改善了准确性和遗忘率。
🏷️
标签
➡️
