MGRQ: 视觉转换器训练后的混合粒度重建量化
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本文提出了多种后训练量化方法（如SQ-b、OPT-m和MPTQ-ViT），在ImageNet数据集上显著提高了视觉变换器（ViTs）的准确性。这些方法有效降低了内存和计算成本，适用于移动设备，并在多个基准模型上验证了其有效性。
🔎
延伸解读
量化精度与效率的权衡
文章指出，后训练量化方法在4位和5位视觉变换器上显著提高了准确度，同时降低了内存和计算成本。8位量化下，ImageNet分类准确度降低小于0.5%，接近无损。这表明在移动设备部署时，可根据需求选择量化位宽：8位适合高精度场景，4/5位则进一步压缩模型，但需接受一定的精度损失。
混合粒度重建量化的创新点
文章提出的SQ-b、OPT-m和MPTQ-ViT方法，通过混合粒度重建优化量化过程。SQ-b引入偏置项改进SmoothQuant，OPT-m搜索最优缩放因子比例，MPTQ-ViT则提供多精度框架。这些技术共同作用，在多个基准模型上验证有效，尤其使高效混合视觉变换器（如MobileViTv1/v2）的平均准确率提升7.75%。
实际部署的考量
对于移动设备部署，文章强调后训练量化无需重新训练，仅需小校准集，这降低了部署门槛。但需注意，不同模型和任务对量化敏感度不同，4位量化可能带来较大精度下降。建议在实际应用中，根据硬件支持和精度要求，在8位与4/5位之间权衡，并参考文章在ImageNet上的实验结果进行选择。
❓
Q&A
后训练量化方法有哪些？
主要有SQ-b、OPT-m和MPTQ-ViT等方法。
这些量化方法在ImageNet数据集上的表现如何？
这些方法显著提高了视觉变换器在ImageNet数据集上的准确性。
后训练量化如何降低内存和计算成本？
后训练量化通过减少模型的位宽和优化计算过程来降低内存和计算成本。
这些方法适用于哪些设备？
这些方法适用于移动设备。
量化视觉转换器的准确度损失有多大？
8位量化的准确度降低小于0.5%。
这些量化方法在基准模型上的验证结果如何？
在多个基准模型上验证了所提方法的有效性，尤其是在4位和5位量化的ViTs上。
🏷️
