AdaZeta：自适应零阶张量列适应方法用于内存高效的大规模语言模型微调
内容提要
本研究提出了一种名为MeZO的零阶优化方法，旨在替代反向传播法进行大规模语言模型的微调，显著降低内存开销。实验结果表明，MeZO能够在单个A100 GPU上训练数十亿参数的模型，其性能与反向传播相当。此外，结合稀疏性和量化技术，MeZO在内存受限环境中表现出色，提升了模型的训练效率和准确性。
延伸解读
零阶优化为何能省内存
零阶优化（ZO）不依赖反向传播计算梯度，而是通过模拟摄动随机逼近来估计梯度方向。这避免了存储激活值和梯度带来的内存开销，使得微调大规模语言模型时内存占用与推理阶段相当。文章指出，MeZO 能在单个 A100 80GB GPU 上训练数十亿甚至数百亿参数的模型，且性能与反向传播微调相当。
稀疏与量化如何进一步降低门槛
在零阶优化基础上，结合稀疏性和量化技术可以进一步减少内存需求。研究表明，仅对 0.1% 的敏感参数进行零阶微调，效果优于全面微调，同时提升速度。此外，4 位量化技术让 Llama2-7B 模型在 GPU 上微调时内存占用低于 8GB，并显著降低延迟，这为在手机、笔记本等内存受限设备上微调大模型提供了可能。
零阶优化的稳定性改进方向
零阶优化的梯度估计存在震荡和时间开销问题，缺少动量正则化。为此，研究者提出了多种改进方法：ZO-AdaMU 通过引入动量改善收敛稳定性和速率；MeZO-SVRG 利用方差缩减技术提升稳定性和收敛性，并减少存储占用；对角度黑塞矩阵增强的零阶算法能减少训练步骤并提高准确性。这些工作共同推动了零阶优化在实际微调中的可用性。
零阶优化与隐私保护的结合
零阶优化还能与联邦学习和差分隐私结合，以应对隐私保护场景。FedMeZO 将内存高效的零阶优化与联邦设置结合，加快收敛速度并减少 GPU 内存使用。DPZero 是一种新的差分隐私零阶算法，具有几乎维度无关的速率，对实际语言模型部署具有高度实用性。这些探索表明，零阶优化在隐私敏感的自然语言处理任务中具有潜力。
Q&A
MeZO方法的主要优势是什么？
MeZO方法能够在单个A100 GPU上训练数十亿参数的模型，显著降低内存开销，其性能与反向传播法相当。
MeZO如何结合稀疏性和量化技术？
MeZO通过将稀疏性和量化技术整合到零阶优化中，提升了在内存受限环境中的训练效率和准确性。
ZO-AdaMU是如何改善收敛性的？
ZO-AdaMU通过在随机梯度近似中采用动量，解决了MeZO的震荡和时间开销问题，从而改善了收敛性。
MeZO-SVRG方法的表现如何？
MeZO-SVRG方法在多个任务中表现出卓越的稳定性和收敛性，并减少了存储占用。
FedMeZO方法的创新点是什么？
FedMeZO将零阶优化与联邦学习结合，以加快收敛速度并减少GPU内存使用。
DPZero算法的特点是什么？
DPZero是一种新的差分隐私零阶算法，具有高度实用性，适用于语言模型的实际部署。
