本研究提出了MaZO框架，旨在解决大型语言模型在多任务微调中的高内存需求问题。通过权重重要性度量和多任务权重更新掩码，MaZO有效降低了参数空间维度，减轻了任务冲突，实验结果表明其性能优于一阶优化方法。

MaZO: Masked Zeroth-Order Optimization for Multi-Task Fine-Tuning of Large Language Models
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证