VPTQ：大规模语言模型的极低比特向量后训练量化

BriefGPT - AI 论文速递 · 2024-09-25T00:00:00Z

研究提出了GPTVQ方法，通过增加量化维度提升神经网络的大小和准确性。GPTVQ使用数据感知的EM算法和SVD压缩，对大型语言模型进行高效向量量化。在Llama-v2等模型上实现了新的大小与准确性平衡，并在单个H100上高效运行。研究还显示，VQ在移动CPU上的延迟表现优于4位整数格式。