BriefGPT - AI 论文速递 · 2025-01-21T00:00:00Z EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition 💡 原文英文，约100词，阅读约需1分钟。 📝 内容提要 EDoRA方法通过奇异值分解将预训练权重分解为大小和方向分量，冷冻低秩矩阵，并引入小的可训练矩阵，显著减少可训练参数，最多可减少30倍，同时保持学习能力。实验表明，EDoRA在GLUE基准测试中表现优异，适用于资源受限环境的多任务适应。 🏷️ 标签 EDoRA 可训练参数 多任务适应 奇异值分解 预训练权重 阅读原文 生成长图 分享链接 已复制链接
