BriefGPT - AI 论文速递
·
LoRI: Reducing Cross-Task Interference in Multi-Task Low-Rank Adaptation
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本文提出了一种新方法LoRI，旨在减少多任务低秩适应中的参数干扰和开销。通过随机投影和任务特定掩模，LoRI显著降低了可训练参数数量，同时保持强大性能，实验表明其可减少95%的可训练参数。
🎯
关键要点
- LoRI是一种新方法，旨在解决多任务低秩适应中的参数干扰和开销问题。
- 该方法通过随机投影冻结矩阵A和使用任务特定掩模稀疏化矩阵B，显著减少可训练参数数量。
- LoRI在多个任务中保持强大性能，有效防止适配器合并中的跨任务干扰。
- 实验结果表明，LoRI比现有方法表现更优，最多可减少95%的可训练参数。
➡️
