Quasar-ViT: 面向硬件的量化感知架构搜索视觉 Transformer

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

研究论文提出了Quasar-ViT,一个面向硬件的量化感知架构搜索框架,用于设计高效ViT模型并保持准确性。通过训练超网络,使用适应性的量化方案和超网络层缩放技术,确定一系列最优的子网络。在FPGA平台上实现了高速推理和较高的准确性。

🎯

关键要点

  • 研究论文提出了Quasar-ViT,一个面向硬件的量化感知架构搜索框架。
  • Quasar-ViT旨在设计高效的ViT模型并保持准确性。
  • 通过训练超网络,使用适应性的量化方案和超网络层缩放技术,确定最优子网络。
  • 应用高效的面向硬件的搜索算法,结合硬件延迟和资源建模。
  • 在不同推理延迟目标下确定一系列最优的子网络。
  • 在FPGA平台上实现了高速推理和较高的准确性。
  • 在AMD/Xilinx ZCU102 FPGA上,模型在ImageNet数据集上实现了不同的推理速度和准确性。
➡️

继续阅读