MGRQ: 视觉转换器训练后的混合粒度重建量化
原文中文,约300字,阅读约需1分钟。发表于: 。本文通过分析深入探讨原因,并提出了 MGRQ(混合粒度重构量化)作为解决方案以解决此问题。MGRQ 引入了一种混合粒度重构方法来提高 PTQ 的性能,并通过引入 Extra-Block 全局监督和 Intra-Block 本地监督,构建了优化的块重构模型。通过多种 ViT 模型进行的广泛实验证明了 MGRQ 的有效性,尤其在低位量化下表现出稳健的性能,从而提高了量化模型的实用性。
后训练量化(PTQ)是一种高效的模型压缩技术,使用小样本集对预训练模型进行量化。IGQ-ViT是一种实例感知分组量化技术,将激活图通道分割为多个组,以使每组内的激活具有相似统计特性。该方法在位运算约束下取得了良好效果,并在图像分类、目标检测和实例分割等领域进行了实验证明。