BitDelta：你的微调可能只相当于 1 个比特
内容提要
本文综述大语言模型高效微调与量化技术：DeltaZip通过压缩微调模型差异提升多模型服务吞吐；稀疏微调优于LoRA；AlphaTuning、ApiQ、EfficientDM、QFT等实现低比特量化微调，降低内存与成本并保持性能。
延伸解读
微调模型服务效率的突破
DeltaZip通过压缩微调模型与预训练基础模型之间的差异，实现了高效的多模型服务。压缩因子达6至8倍，服务吞吐量提升1.5至3倍，并改善了SLO达成率。这表明在实际部署中，存储和计算开销可大幅降低，尤其适合需要同时服务多个微调模型的场景。
稀疏微调与LoRA的对比
针对LLaMA 2 7B和13B等模型，稀疏微调在指令调整任务上通常优于LoRA等参数高效微调方法，且运行时间相当。这提示研究者和工程师，在追求性能时，稀疏微调可能是一个更有效的选择，尤其当计算资源允许时。
低比特量化微调的技术路线
AlphaTuning、ApiQ、EfficientDM和QFT等方法通过低比特量化降低内存和成本。AlphaTuning仅微调1/10参数，QFT将模型状态内存减至21%，使LLaMA-7B调优仅需30GB内存。这些技术为资源受限环境提供了可行方案，但需注意量化可能带来的精度损失。
量化与微调结合的实践考量
文章提到后训练量化与部分量化微调结合，以及数据无关蒸馏方法。这些方法在保持性能的同时提升效率，但实际应用中需权衡量化位宽、任务类型和硬件支持。例如，4位量化在11种下游任务中表现良好，但更低比特可能影响效果。
Q&A
DeltaZip 是什么？它有什么作用？
DeltaZip 是一种 LLM 服务系统，通过提取和压缩模型与其预训练基础模型之间的差异，可以高效地同时提供多个全参数微调模型，压缩因子可达 6 倍至 8 倍，并且可以提高服务吞吐量 1.5 倍至 3 倍，相比于香草 HuggingFace 服务系统，可改善 SLO 达成率。
稀疏微调与 LoRA 相比有什么优势？
实验证明对指令调整进行稀疏微调通常比流行的参数高效微调方法如 LoRA 表现更好，并且在运行时间上可比较。
AlphaTuning 如何实现低比特量化微调？
AlphaTuning 通过二进制编码量化、调整二进制参数和针对下游任务进行唯一的倍数调整，控制模型的大小。在 11 种下游任务上使用 4 位或更高的量化精度时，仅使用总参数数量的 1/10 进行细调。
ApiQ 量化框架解决了什么问题？
ApiQ 解决了在大型语言模型中进行内存高效微调时，量化过程对预训练模型的知识损失以及错误传播所造成的问题，从而实现了在各种量化位宽下始终取得卓越的微调结果。
EfficientDM 是什么？它有什么特点？
EfficientDM 是一种数据自由且参数高效的优化方法，通过引入量化感知的低秩适配器 QALoRA 来实现 QAT 级别的性能与 PTQ 的效率相似，从而优化低位扩散模型的性能，并且在时间和数据效率方面显著超过之前基于 PTQ 的扩散模型。
QFT 框架如何实现内存高效调优？
QFT 是一种量化全参数调优框架，采用高效的 Lion 优化器和整数值量化的模型状态存储方法，并提供了梯度流和参数更新方案。它将模型状态内存减少到标准解决方案的 21%，同时达到可比较的性能，例如调优 LLaMA-7B 模型仅需 30GB 内存，一张 A6000 GPU 即可满足。
