约束指导的神经网络模型量化

BriefGPT - AI 论文速递 · 2024-09-30T00:00:00Z

量化方法对深度神经网络的高效部署非常重要。本文介绍了一种基于梯度的后训练量化方法（GPTQ），展示了其在权重选择、特征增强和校准集方面的稳定性。提出了设计更高效GPTQ方法的原则，并引入基于重要性的混合精度技术，提升了GPTQ方法和网络性能，为设计可扩展且高效的量化方法提供了新可能。