BriefGPT - AI 论文速递
·
MaZO：针对大型语言模型多任务微调的掩码零阶优化
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了MaZO框架，旨在解决大型语言模型在多任务微调中的高内存需求。通过权重重要性度量和任务权重更新掩码，MaZO有效降低了参数空间维度，减轻了任务冲突，性能超过了一阶优化方法。
🎯
关键要点
- 本研究提出了MaZO框架，旨在解决大型语言模型在多任务微调中的高内存需求。
- MaZO是首个针对零阶优化的多任务微调框架。
- 通过引入权重重要性度量和多任务权重更新掩码，MaZO选择性更新关键参数。
- MaZO有效降低了参数空间的维度，减轻了任务冲突。
- 实验结果表明，MaZO在性能上超越了基于一阶优化的多任务学习方法。
➡️
