ViDiT-Q: 图像和视频生成的扩散变压器的高效准确量化
内容提要
本文介绍了针对扩散变换器（DiTs）的量化方法，包括混合浮点量化（HQ-DiT）和后训练量化（PTQ4DiT）。通过通道平衡和校准技术，实现高效量化，提升模型在低精度下的性能。此外，研究提出了多种量化框架和优化方法，显著提高了移动设备上的计算效率和准确性。
延伸解读
量化技术如何平衡效率与精度
文章指出，HQ-DiT使用4位浮点量化权重和激活，对性能影响最小；PTQ4DiT通过通道平衡和校准，实现了8位和4位权重量化。这些方法表明，后训练量化能在低精度下保持模型性能，为扩散变换器在资源受限设备上的部署提供了可能。
视觉变换器量化的实际收益
在ImageNet数据集上，量化视觉变换器压缩方法达到80.9%的准确性，超过全精度模型1.0%的Top-1精度；移动设备上，新方法将高效混合视觉变换器的平均准确性提高了7.75%。这些数据说明量化不仅能压缩模型，还可能带来精度提升。
混合精度与低秩适配的优化策略
MixDQ框架在保持W8A8品质的同时，将模型大小和内存成本减少3-4倍，并实现1.45倍延迟加速；EfficientDM引入量化感知低秩适配器QALoRA，达到QAT级别性能与PTQ效率。这些策略展示了在精度和效率间取得平衡的多种途径。
Q&A
什么是混合浮点量化（HQ-DiT）？
混合浮点量化（HQ-DiT）是一种后训练量化方法，使用4位浮点精度对权重和激活进行量化，旨在实现低精度量化且对性能影响最小。
PTQ4DiT方法如何解决扩散变换器中的量化挑战？
PTQ4DiT通过通道平衡和校准技术，解决了扩散变换器中的通道不平衡和时间变化问题，实现了8位和4位权重精度的有效量化。
量化视觉变换器压缩方法在ImageNet数据集上的表现如何？
该方法在ImageNet数据集上实现了高达80.9%的准确性，超过全精度模型1.0%的Top-1精度。
MixDQ框架的优势是什么？
MixDQ框架在保持W8A8品质的同时，实现了模型大小和内存成本的3-4倍减少，并加速了1.45倍的延迟。
如何提高移动设备上视觉变换器的计算效率？
通过提出新的后训练量化方法，显著提高了高效混合视觉变换器的平均准确性，达到7.75%。
知识蒸馏在量化中的作用是什么？
知识蒸馏的变异感知量化方法显著提高了经过量化的视觉变换器模型的准确性和训练效率。
