DopQ-ViT：面向视觉 Transformer 的分布友好和异常值感知的后训练量化
内容提要
本文介绍了多种针对视觉变换器（ViTs）的后训练量化（PTQ）方法，如ADFQ-ViT、SmoothQuant和IGQ-ViT。这些方法在图像分类、目标检测和实例分割任务中显著提高了性能，并在低位量化下实现接近无损的准确度，解决了ViTs在移动设备上的高计算需求问题。
延伸解读
量化技术演进：从通用到专用
文章梳理了ViT后训练量化（PTQ）的多条技术路线，包括ADFQ-ViT的异常值感知量化器、SmoothQuant的偏差项与缩放因子搜索、PTQ4ViT的双均匀量化与Hessian指导等。这些方法针对ViT中激活分布的特殊性（如post-LayerNorm和post-GELU的离散化）进行改进，而非简单套用CNN量化方案，体现了领域从通用量化向ViT专用量化的演进。
低位量化的精度与效率权衡
在4位和5位等低位宽下，SQ-b、OPT-m、I&S-ViT等方法在ImageNet上取得了显著准确度提升，而PTQ4ViT在8位下实现接近无损（准确度降低小于0.5%）。这表明低位量化虽能大幅压缩模型，但需更精细的量化器设计来维持精度；8位量化已较成熟，4位仍是研究热点，实际部署需根据任务容忍度选择位宽。
跨任务与跨硬件的泛化能力
这些PTQ方法在图像分类、目标检测和实例分割任务中均得到验证，说明其不仅适用于单一任务。同时，Trio-ViT针对嵌入式设备优化FPS和DSP效率，ViDiT-Q面向Diffusion Transformer实现W8A8无损量化，反映出量化技术正从分类模型向生成模型、从服务器向移动端扩展，但不同硬件对量化算子的支持差异可能影响实际加速效果。
Q&A
什么是ADFQ-ViT框架，它的主要优势是什么？
ADFQ-ViT框架通过引入多种量化技术，显著提高了视觉变换器在图像分类、目标检测和实例分割任务中的性能。
SmoothQuant方法在量化方面有什么创新？
SmoothQuant方法在4位和5位量化的ViTs上实现了显著的准确度提高，并引入了偏差项和最优缩放因子比率搜索。
PTQ4ViT框架的准确度表现如何？
PTQ4ViT框架在8位量化下实现了接近无损的预测准确度，准确度降低小于0.5%。
IGQ-ViT方法是如何优化视觉变换器的后训练量化的？
IGQ-ViT通过动态分组激活图的通道，优化了视觉变换器的后训练量化效果，最小化量化模型与全精度模型之间的差异。
ViDiT-Q方法在量化方面的成果是什么？
ViDiT-Q方法实现了无损的W8A8量化，而ViDiT-Q-MP在W4A8下保持了较小的视觉质量下降。
Trio-ViT框架解决了什么问题？
Trio-ViT框架在可比准确度下提高了Vision Transformers的部署效率，解决了在嵌入式设备上部署的困难。
