LLM 的低秩量化感知训练
内容提要
本文介绍了多种量化感知训练算法，如L4Q、QLLM和LoQT，旨在提高大型语言模型的低精度量化效果。这些方法在保持模型准确性的同时，显著提升了训练效率和性能，适用于边缘设备和大规模应用。
延伸解读
量化感知训练与训练后量化的分野
文章列举的 L4Q、QLLM、LoQT 等方法均属于量化感知训练（QAT），即在训练过程中模拟量化效应，以减小精度损失。而文末提及的 PTQ 综合评估则针对训练后量化，两者目标不同：QAT 通常能获得更好的低精度性能，但需要额外训练成本；PTQ 无需训练，部署更便捷。读者需根据实际场景在精度与效率间权衡。
低秩自适应与量化的协同设计
多个方法如 QA-LoRA、LoftQ 和 LoQT 都结合了低秩自适应（LoRA）与量化。QA-LoRA 通过分组运算符平衡量化与自适应的自由度；LoftQ 为 LoRA 寻找量化友好的初始化；LoQT 则用梯度张量分解初始化低秩矩阵。这种协同设计旨在保持微调效果的同时降低内存和计算开销，是当前研究的重要趋势。
边缘设备部署的量化实践
EdgeQAT 针对边缘设备，通过熵和分布引导动态量化不同位宽的令牌，在多个边缘设备上实现了相比 FP16 模型高达 2.37 倍的推理加速。这表明量化技术不仅能压缩模型，还能直接提升推理速度，对资源受限环境具有实用价值。但需注意，动态量化可能引入额外开销，实际收益取决于硬件和任务特性。
量化评估的全面性与建议
文章提到对 PTQ 技术在 11 个模型家族的综合评估，系统总结了量化对权重、激活函数和 KV Cache 的影响，并提供了应用建议和未来方向。这提示读者，量化不是单一技术，需考虑不同组件和模型架构的敏感性。评估结果可帮助选择适合的量化策略，避免盲目应用导致性能下降。
Q&A
L4Q算法的主要特点是什么？
L4Q是一种参数高效的量化感知训练算法，能够在高精度模型上实现亚4位精度的量化和微调，同时保持与PEFT相当的训练时间。
QLLM如何提高低精度量化的准确性？
QLLM通过自适应通道重组技术，提高了大规模语言模型的低精度量化准确率，较之前方法提升了7.89%。
LoQT算法的训练效率如何？
LoQT使用基于梯度的张量分解来初始化低秩权重矩阵，能够高效训练高达7B参数的模型，并展示了在相同硬件上训练13B参数模型的可行性。
QA-LoRA算法的创新之处是什么？
QA-LoRA通过分组运算符增加量化自由度，减少自适应自由度，成功将大型语言模型权重量化而不损失准确性。
EdgeQAT在边缘设备上的表现如何？
EdgeQAT通过动态量化不同位宽的令牌，实现了在边缘设备上的推理加速，速度提升可达2.37倍。
APTQ提出了什么样的量化方法？
APTQ提出了一种混合精度量化的方法，利用Hessian迹作为灵敏度指标，保持模型性能的同时降低精度。
