I-LLM：针对完全量化低位大型语言模型的高效整数推断
内容提要
本文介绍了一种高效的低精度模型量化方法QLLM，通过自适应通道重组技术提高大规模语言模型的准确率。该方法适用于混合专家模型和密集模型，能够减少内存消耗并加速推断，无需额外微调。研究还探讨了多种量化技术，展示了在保持准确性的同时显著提升计算和硬件效率。
延伸解读
量化技术对比：QLLM 的定位
文章提及了多种量化方法，如 SmoothQuant、LLM-FP4、SliM-LLM 等。QLLM 与它们的不同在于：它采用仅权重量化，无需微调，且通过自适应通道重组提升准确率。在 LLaMA-2 上，QLLM 比之前最先进方法平均准确率高 7.89%。这表明 QLLM 在准确率与效率的权衡中可能更具优势，但具体适用场景需结合模型类型判断。
实际部署的收益与限制
QLLM 能减少内存消耗并加速推断，在 OPT-175B 等模型上实现高达 3.65 倍的吞吐量提升，且支持 fp16/bf16 激活与 int8/int4 权重的乘法。然而，这些收益基于特定硬件和模型，实际部署时需考虑 GPU 兼容性和量化粒度。此外，方法无需额外微调，但可能对异常值敏感，需评估目标模型的权重分布。
适用模型范围与潜在风险
QLLM 适用于混合专家模型和密集模型，在内部混合专家模型上评估显示最小准确性损失。但文章未提及对更小规模模型的效果，且量化可能引入下溢等问题（如 dINT 所解决）。读者需注意，低精度量化在极端压缩下可能损失精度，建议在目标模型上验证后再部署。
Q&A
QLLM方法如何提高大规模语言模型的准确率？
QLLM通过自适应通道重组技术实现低精度模型量化，从而提高大规模语言模型的准确率。
QLLM在LLaMA-2上的准确率提升了多少？
QLLM在LLaMA-2上相较于之前最先进的方法提高了7.89%的平均准确率。
QLLM适用于哪些类型的模型？
QLLM适用于混合专家模型和密集模型。
QLLM如何减少内存消耗和加速推断？
QLLM通过仅权重量化的方法减少内存消耗，并加速推断，无需额外微调。
QLLM在硬件效率上有什么优势？
QLLM通过高效的GPU矩阵乘法和解量化算法，显著提升计算和硬件效率。
QLLM的吞吐量提升效果如何？
在OPT-175B和内部混合专家模型上，QLLM实现了高达3.65倍的吞吐量提升。
