Quasar-ViT: 面向硬件的量化感知架构搜索视觉 Transformer
内容提要
本文调查了视觉变换器（ViTs）的模型量化与硬件加速，提出了VAQF框架以在FPGA上加速量化ViT模型，满足帧速率要求。研究还介绍了基于知识蒸馏的量化方法，提升了模型准确性和训练效率，并提出了I-ViT整数量化方案，减少模型复杂性，适用于边缘设备。
延伸解读
量化ViT的硬件加速实践
文章介绍了VAQF框架，它能在FPGA上为量化ViT模型自动生成推理加速器，并输出满足帧率要求的量化精度和参数。实验表明，基于DeiT-base模型，8位激活量化可实现24 FPS，6位激活量化可达30 FPS。这为硬件部署提供了具体参考，但需注意帧率与精度之间的权衡。
量化方法的精度提升策略
文章提到基于信息矫正模块和分布引导蒸馏的量化方法，在ImageNet上达到80.9%的Top-1准确率，甚至超过全精度模型1.0%。此外，变异感知量化方法通过知识蒸馏显著提高了量化ViT的准确性和训练效率。这些方法说明量化不一定损失精度，但依赖蒸馏等额外训练成本。
整数量化与边缘部署
I-ViT方案通过整数算术和位移完成全部计算，并用Shiftmax、ShiftGELU近似非线性组件，减少模型复杂性。实验显示其准确率与浮点基线相当，在GPU整数单元上实现3.72-4.11倍加速。这适合边缘设备，但需注意其依赖TVM等特定工具链。
极端量化的潜力与局限
ViT-1.58b采用三值量化，在存储和计算开销上显著降低，平衡了效率和准确性。这展示了极端量化在可持续AI方面的潜力，但文章未提供具体精度损失数据，实际部署时需评估任务对精度的敏感度。
Q&A
VAQF框架的主要功能是什么？
VAQF框架可以在FPGA平台上为量化的ViT模型构建推理加速器，满足帧速率要求。
如何提高视觉变换器模型的准确性？
通过基于知识蒸馏的变异感知量化方法，可以显著提高视觉变换器模型的准确性和训练效率。
I-ViT整数量化方案的优势是什么？
I-ViT整数量化方案通过整数算术和位移减少模型复杂性，适用于边缘设备，并且在准确率上与浮点基线相当。
量化ViT模型的帧速率要求是什么？
在使用8位激活量化时，满足24帧每秒的帧速率要求，使用6位激活量化时可达到30帧每秒。
ViT-1.58b模型的特点是什么？
ViT-1.58b模型通过三值量化平衡效率和准确性，显著减少存储和计算成本。
本文对未来的研究方向有什么讨论？
文章讨论了量化ViTs的硬件加速的重要性以及未来的挑战和研究方向。
