视觉 Transformer 的实例感知组量化

提出了双均匀量化方法和用 Hessian 指导的指标方法，优化视觉转换器的量化准确度。

PTQ4ViT 框架在 ImageNet 分类任务上实现了接近无损的预测准确度，8 位量化的准确度降低小于 0.5%。

SmoothQuant with bias term (SQ-b) 和 optimal scaling factor ratio search (OPT-m) 方法在 4 位和 5 位量化的 ViTs 上显著提高了准确度。

开发了基于 Power-of-Two Factor（PTF）和 Log-Int-Softmax（LIS）的技术，简化全量化视觉 Transformer 的推理复杂度。

提出了一种新的后训练量化方法，显著提高了 MobileViTv1 和 MobileViTv2 的平均准确性，达到 7.75%。

有效的后训练量化算法降低了视觉变换器的内存存储和计算成本，在 ImageNet 数据集上获得约 8 位量化的 81.29% top-1 精度。

基于知识蒸馏的变异感知量化方法提高了 Vision Transformers 模型的准确性和训练效率。

基于 patch 的混合精度量化方法通过引入轻量级全局度量，减少了搜索成本，使混合精度量化应用于 ViTs 更加容易。

基于信息矫正模块和分布引导蒸馏方案的量化视觉变换器压缩方法在 ImageNet 数据集上实现高达 80.9% 的准确性。

利用对比损失优化量化网络的方法提高了已经量化的 Vision Transformer 网络的准确率，具有鲁棒性。

探讨了一种基于梯度的后训练量化方法（GPTQ），在选择权重、特征增强、校准集等方面具有鲁棒性，提出了设计更高效、可扩展的 GPTQ 方法的准则。