MARLIN：大型语言模型的混合精度自回归并行推断
内容提要
本文介绍了一种高效的量化框架，旨在解决大型语言模型的内存需求和推断成本问题。通过SqueezeLLM和QFT等方法，实现了高达3位的无损压缩和内存优化，显著提高了推断性能。研究表明，量化模型在保持准确性的同时，能够在GPU上实现更高的吞吐量，且新型算法ABQ-LLM在低比特宽度执行中表现优异。
延伸解读
量化技术演进：从后训练到全参数调优
文章梳理了大型语言模型量化技术的多个进展。SqueezeLLM作为后训练量化框架，实现了高达3位的无损压缩；QFT则是一种量化全参数调优框架，将模型状态内存减少到标准方案的21%，调优LLaMA-7B仅需30GB内存。这些方法分别针对推断和调优阶段，反映了量化技术正从仅权重量化向更全面的内存优化扩展。
低比特量化的性能与精度平衡
研究表明，4位量化的语言模型在大部分基准测试中能保持与非量化模型相当的性能，且困惑度可作为代理度量。但量化也会影响推断速度，需要工程努力和硬件支持。ABQ-LLM在LLaMA-7B的W2*A8配置下实现了更高的加速和内存压缩，显示了低比特量化的潜力，但需注意其实际部署中的权衡。
系统与内核优化推动实际部署
除了算法，系统级优化也至关重要。LLM-PQ通过自适应量化和阶段感知分区，在异构GPU集群上将推理吞吐量提升高达2.88倍；QUICK和FLUTE等优化内核解决了共享内存冲突和带宽限制，实现了显著加速。这些工作表明，量化技术的落地需要算法与硬件协同设计，以充分发挥低比特推理的优势。
Q&A
MARLIN框架如何提高大型语言模型的推断性能？
MARLIN框架通过引入SqueezeLLM和QFT等方法，实现高达3位的无损压缩和内存优化，显著提高了推断性能。
QFT框架的主要优势是什么？
QFT框架实现内存高效调优，将模型状态内存减少到标准方案的21%，同时保持可比较的性能。
ABQ-LLM框架在低比特宽度执行中表现如何？
ABQ-LLM框架在低比特宽度执行中表现优异，显著提高了GPU性能，尤其在LLaMA-7B模型上获得更高加速和内存压缩效果。
QUICK优化的CUDA内核解决了什么问题？
QUICK优化的CUDA内核解决了共享内存冲突问题，相对于现有内核实现高达1.91倍的加速效果。
LLM-PQ系统如何提高推理吞吐量？
LLM-PQ系统通过自适应模型量化和阶段感知模型分区，提高LLM服务效率，推理吞吐量提升高达2.88倍。
量化技术对大型语言模型的影响是什么？
量化技术可以在大部分基准测试中保持与非量化模型相当的性能，但也会影响推断速度，需要进行优化。
