DopQ-ViT:面向视觉 Transformer 的分布友好和异常值感知的后训练量化
原文中文,约300字,阅读约需1分钟。发表于: 。Vision Transformers 的一个研究提出了名为 DopQ-ViT 的分布友好和异常值感知的模型压缩方法,使用 TanQ 量化器来更准确地保留后 Softmax 激活的幂律分布,并提出了一种用于搜索最优缩放因子的方法,来补偿异常值对量化模型性能的影响。
后训练量化(PTQ)是一种高效的模型压缩技术,使用小样本集对预训练模型进行量化。IGQ-ViT是一种实例感知分组量化技术,将激活图通道分割为多个组,以使每组激活具有相似统计特性。该方法在位运算约束下取得了良好效果,并在图像分类、目标检测和实例分割等领域进行了实验证明。