BriefGPT - AI 论文速递 · 2024-10-11T00:00:00Z

SubZero：面向内存高效的随机子空间零阶优化的 LLM 微调

📝

内容提要

该研究解决了大规模语言模型（LLM）微调中因反向传播导致的高内存需求的问题。论文提出了一种新的随机子空间零阶（SubZero）优化方法，通过采用针对 LLM 的低秩扰动显著降低内存消耗并提升训练性能。实验结果表明，SubZero 在微调性能和收敛速度上优于传统的零阶优化方法。

🏷️

标签

llm 内存 子空间 微调