HFT: 大型语言模型的半微调
内容提要
本文介绍了新的微调策略HiFT和量化全参数调优框架QFT，显著降低了大型语言模型的GPU内存使用。研究表明，稀疏微调方法在性能上优于传统方法，但存在灾难性遗忘问题。提出了神经元级微调（NeFT），以实现更高效的模型更新，并强调了参数高效微调的必要性及未来研究方向。
延伸解读
内存优化：从HiFT到QFT的进展
文章介绍了HiFT和QFT两种内存优化微调策略。HiFT通过分层更新子参数减少梯度和优化器状态的内存占用；QFT结合量化存储和Lion优化器，将模型状态内存降至标准方案的21%，例如微调LLaMA-7B仅需30GB内存，单张A6000 GPU即可完成。这些方法为资源受限环境下的全参数微调提供了可行方案。
稀疏微调的性能与遗忘风险
稀疏微调在指令调整任务上表现优于LoRA等参数高效方法，且运行时间相当。然而，研究指出参数高效微调仍存在灾难性遗忘问题，尤其是LoRA微调中遗忘量与微调参数数量和更新步数呈移位幂律增长，且无法通过提前停止或调整参数数量避免。这提示在实际应用中需权衡性能与遗忘风险。
神经元级微调：更细粒度的更新
NeFT将训练粒度细化到单个神经元，实现更精确高效的模型更新。实验表明，NeFT性能超过全参数微调和参数高效微调，同时为神经元分析提供洞见。这反映了微调技术从宏观层级向微观神经元发展的趋势，可能推动更高效、可解释的微调方法。
未来方向与开放挑战
文章强调参数高效微调（PEFT）的必要性，并指出未来研究方向包括创新PEFT架构、适应不同学习设置的PEFT、结合模型压缩技术以及探索多模态LLMs的PEFT。这些挑战旨在促进更高效、可访问的LLMs微调方案，同时需关注遗忘等安全问题。
Q&A
HiFT微调策略的主要优势是什么？
HiFT能够显著减少GPU内存使用，通过仅更新子参数集合来降低内存占用。
QFT框架如何提高模型的内存效率？
QFT通过高效的Lion优化器和整数值量化方法，将模型状态内存减少到标准方案的21%。
稀疏微调方法的缺点是什么？
稀疏微调方法存在灾难性遗忘问题，可能导致模型在下游任务中的性能下降。
神经元级微调（NeFT）有什么优势？
NeFT实现了更高效的模型更新，超越了全参数微调和参数高效微调的性能。
未来的研究方向有哪些？
未来研究方向包括创新架构、不同学习设置的PEFT和多模态LLMs的探索。
如何解决微调过程中出现的遗忘问题？
研究表明，无法通过提前停止或调整细调参数数量来避免遗忘问题，需要开发新的细调方案。
