DB-LLM：用於高效 LLMs 的準確雙二元化
内容提要
本文综述大语言模型低位量化研究，涵盖BiLLM（1.08位权重高精度推理）、QLLM（自适应通道重组提升准确率）、PB-LLM（部分二值化保留推理能力），以及数据无关蒸馏、2.85位表示、EfficientDM、BitDistiller、多码本量化、6位近无损量化和DGQ等技术，兼顾压缩率与推理效率。
延伸解读
低位量化技术概览
文章综述了多种大语言模型低位量化技术，包括BiLLM、QLLM、PB-LLM等。这些方法旨在通过减少权重位宽来压缩模型，同时保持推理准确性。例如，BiLLM实现了1.08位权重的高精度推理，QLLM通过自适应通道重组在LLaMA-2上提高了7.89%的平均准确率。这些技术展示了在极低位宽下维持模型性能的可能性，为LLM的高效部署提供了新思路。
量化与蒸馏的结合
文章提到数据无关蒸馏、EfficientDM和BitDistiller等方法，将量化与知识蒸馏相结合。数据无关蒸馏利用预训练模型生成结果，适用于低位量化；EfficientDM通过量化感知低秩适配器实现QAT级别性能；BitDistiller结合QAT和KD，在超低精度下提升性能。这些方法在降低计算成本的同时，试图弥补量化带来的精度损失，尤其适用于资源受限的场景。
实际部署的优化
针对实际部署，文章介绍了多码本量化、6位近无损量化和DGQ等技术。多码本量化实现极端压缩；6位量化在几乎无损的情况下提升算术密度19倍、内存密度5倍；DGQ通过将INT4权重解量化为INT8表示，实现1.12倍内存减少和3.24倍速度增益。这些技术关注推理速度和内存效率，为LLM在真实环境中的高效运行提供了解决方案。
Q&A
BiLLM 是什么？它有什么特点？
BiLLM 是一种创新的 1 位后训练量化方案，定制了预训练的大型语言模型，仅使用 1.08 位权重即可在各种 LLM 家族和评估指标上实现高准确度推理，超过了 LLM 的 SOTA 量化方法。它能在单个 GPU 上在 0.5 小时内完成对 70 亿权重 LLM 的二值化过程。
QLLM 如何提升低精度量化的准确率？
QLLM 通过自适应通道重组技术，提出了一种准确高效的低精度模型量化方法，实现了对大规模语言模型的低精度量化，并在 LLaMA-2 上相较于之前最先进的方法提高了 7.89% 的平均准确率。
PB-LLM 是什么？它如何保持语言推理能力？
PB-LLM 是一种部分二值化 LLMs 的方法，能够在保持低位量化的同时保持 LLMs 的语言推理能力。它通过后训练量化（PTQ）和量化感知训练（QAT）的分析，提出了恢复量化 LLMs 容量的方法。
BitDistiller 如何提高大型语言模型在超低精度下的性能？
BitDistiller 通过将量化感知训练（QAT）和知识蒸馏（KD）相结合，包括量化和剪裁技术以及一种新颖的 Confidence-Aware Kullback-Leibler Divergence (CAKLD) 目标函数，在 3 位和 2 位配置上明显超越现有方法，并且更加经济高效。
DGQ 量化技术是什么？它有什么优势？
DGQ（Dual Grained Quantization）是一种新型量化技术，通过将细粒度的 INT4 权重解量化为粗粒度的 INT8 表示，并使用 INT8 内核进行矩阵乘法，来保持卓越性能同时确保快速推理速度。实验结果表明，DGQ 在各种 LLM 架构和广泛的任务中始终优于之前的方法，通过高效的 CUTLASS 内核，实现 1.12 倍的内存减少和 3.24 倍的速度增益。
有哪些方法可以实现大型语言模型的近无损 6 位量化？
通过使用块量化技术，本研究实现了基于大型语言模型（LLMs）的几乎无损 6 位量化，与浮点数基准相比算术密度增加了 19 倍，内存密度增加了 5 倍，超过了之前 8 位量化的先前技术。该研究还介绍了子 8 位 LLM 量化的关键见解，包括激活和权重分布之间的不匹配、最佳的微调策略，以及 LLMs 统计属性中固有的较低量化粒度。
