MimiQ：视觉 Transformer 的低比特数据无关量化

本文介绍了一种基于信息矫正模块和分布引导蒸馏的量化视觉变换器压缩方法，在ImageNet上实现了80.9%的准确率。

研究开发了基于Power-of-Two Factor（PTF）和Log-Int-Softmax（LIS）的技术，简化了全量化视觉Transformer的推理复杂度。

提出了ADFQ-ViT框架，通过改进离散化方法，在图像分类、目标检测和实例分割任务中显著提高了性能。

PSAQ-ViT框架通过生成“逼真”样本来校准量化参数，适用于资源受限设备的部署。

提出了一种基于patch的混合精度量化方法，减少了搜索成本，使混合精度量化应用于ViTs变得容易。

ACQ方法通过解决数据合成过程中的注意力分布问题，提升了量化算法的性能。

VAQF框架可以在FPGA平台上为量化的ViT模型构建推理加速器，满足特定的帧速率要求。

SmoothQuant with bias term (SQ-b)和optimal scaling factor ratio search (OPT-m)方法在4位和5位量化的ViTs上取得了显著的准确度提高。

生成式低比特数据无关量化(GDFQ)方法通过生成有意义的虚假数据，消除数据依赖负担，提升了量化模型的精确性。

ViDiT-Q方法实现了无损W8A8量化，ViDiT-Q-MP在视觉质量降级极小的情况下实现了W4A8量化。