DopQ-ViT：面向视觉 Transformer 的分布友好和异常值感知的后训练量化
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
本文介绍了多种针对视觉变换器（ViTs）的后训练量化（PTQ）方法，如ADFQ-ViT、SmoothQuant和IGQ-ViT。这些方法在图像分类、目标检测和实例分割任务中显著提高了性能，并在低位量化下实现接近无损的准确度，解决了ViTs在移动设备上的高计算需求问题。
❓
Q&A
什么是ADFQ-ViT框架，它的主要优势是什么？
ADFQ-ViT框架通过引入多种量化技术，显著提高了视觉变换器在图像分类、目标检测和实例分割任务中的性能。
SmoothQuant方法在量化方面有什么创新？
SmoothQuant方法在4位和5位量化的ViTs上实现了显著的准确度提高，并引入了偏差项和最优缩放因子比率搜索。
PTQ4ViT框架的准确度表现如何？
PTQ4ViT框架在8位量化下实现了接近无损的预测准确度，准确度降低小于0.5%。
IGQ-ViT方法是如何优化视觉变换器的后训练量化的？
IGQ-ViT通过动态分组激活图的通道，优化了视觉变换器的后训练量化效果，最小化量化模型与全精度模型之间的差异。
ViDiT-Q方法在量化方面的成果是什么？
ViDiT-Q方法实现了无损的W8A8量化，而ViDiT-Q-MP在W4A8下保持了较小的视觉质量下降。
Trio-ViT框架解决了什么问题？
Trio-ViT框架在可比准确度下提高了Vision Transformers的部署效率，解决了在嵌入式设备上部署的困难。
🏷️
