MimiQ：视觉 Transformer 的低比特数据无关量化
内容提要
本文介绍了一种基于信息矫正模块和分布引导蒸馏的量化视觉变换器压缩方法，在ImageNet上实现了80.9%的准确率。研究提出了多种量化框架和技术，如ADFQ-ViT和PSAQ-ViT，显著提升了视觉变换器的性能，适用于资源受限设备。实验结果表明，这些方法在不同任务中表现优异，降低了推理复杂度和搜索成本。
延伸解读
量化视觉Transformer的演进脉络
文章梳理了从2020年到2024年视觉Transformer量化的重要进展，包括PTF、LIS、ADFQ-ViT、PSAQ-ViT、ACQ、VAQF、SQ-b、OPT-m、GDFQ和ViDiT-Q等方法。这些工作分别针对推理复杂度、离散化改进、数据无关校准、混合精度搜索、硬件加速和生成式数据等不同角度，逐步推动量化ViT在精度和效率上的平衡。
数据无关量化的实用价值
PSAQ-ViT和GDFQ等方法强调数据无关量化，通过生成逼真样本或利用预训练模型知识来校准量化参数，避免依赖原始训练数据。这对于资源受限设备或数据隐私敏感场景尤为重要，能降低部署门槛，同时保持较高精度，如GDFQ在4位量化上显著优于现有数据无关方法。
硬件部署与精度权衡
VAQF框架展示了在FPGA上为量化ViT构建推理加速器的可行性，并能根据帧速率要求自动选择量化精度。例如，DeiT-base模型在24fps下可使用8位激活量化，30fps下可使用6位。这表明实际部署中需在速度、精度和硬件资源之间取得平衡，为边缘计算提供参考。
扩散Transformer量化的新方向
ViDiT-Q方法针对扩散Transformer的量化挑战，实现了无损W8A8量化和W4A8量化，且视觉质量下降可忽略。这扩展了量化技术 beyond 传统分类任务，为生成式模型的高效推理提供了新思路，有望推动扩散模型在资源受限环境中的应用。
Q&A
MimiQ的量化视觉变换器压缩方法有什么特点？
MimiQ采用信息矫正模块和分布引导蒸馏方案，实现了在ImageNet上80.9%的准确率，并显著降低了推理复杂度。
ADFQ-ViT框架如何提高视觉变换器的性能？
ADFQ-ViT通过改进离散化方法，特别是在图像分类、目标检测和实例分割任务中，显著提升了性能。
PSAQ-ViT框架的主要功能是什么？
PSAQ-ViT框架通过生成“逼真”样本来校准量化参数，适用于资源受限设备的部署。
生成式低比特数据无关量化(GDFQ)的优势是什么？
GDFQ通过生成有意义的虚假数据，消除数据依赖负担，提升了量化模型的精确性。
VAQF框架在FPGA平台上的应用效果如何？
VAQF框架能够为量化的ViT模型构建推理加速器，满足特定的帧速率要求，如24帧每秒和30帧每秒。
SmoothQuant和OPT-m方法在量化中有什么成效？
SmoothQuant和OPT-m方法在4位和5位量化的ViTs上取得了显著的准确度提高，提升了量化效果。
