BriefGPT - AI 论文速递
·
LoRI：减少多任务低秩适应中的跨任务干扰
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文提出了一种新方法LoRI，旨在解决多任务低秩适应中的参数干扰和开销问题。通过随机投影和任务特定掩模，LoRI显著减少可训练参数，同时保持强大性能，实验表明可减少95%的参数。
🎯
关键要点
- 本文提出了一种新方法LoRI，旨在解决多任务低秩适应中的参数干扰和开销问题。
- LoRI通过随机投影冻结矩阵A和使用任务特定掩模稀疏化矩阵B，显著减少可训练参数的数量。
- 该方法在多个任务中保持强大的性能，有效防止适配器合并中的跨任务干扰。
- LoRI支持持续学习，实验结果显示其比现有方法表现更优，最多可减少95%的可训练参数。
➡️
