BriefGPT - AI 论文速递
·
MaZO: Masked Zeroth-Order Optimization for Multi-Task Fine-Tuning of Large Language Models
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了MaZO框架，旨在解决大型语言模型在多任务微调中的高内存需求问题。通过权重重要性度量和多任务权重更新掩码，MaZO有效降低了参数空间维度，减轻了任务冲突，实验结果表明其性能优于一阶优化方法。
🎯
关键要点
- 本研究提出了MaZO框架，旨在解决大型语言模型在多任务微调中的高内存需求问题。
- MaZO通过引入权重重要性度量和多任务权重更新掩码来选择性更新关键参数。
- 该框架有效降低了参数空间的维度，减轻了任务冲突。
- 实验结果表明，MaZO在性能上超越了基于一阶优化的多任务学习方法。
➡️
