Quasar-ViT: 面向硬件的量化感知架构搜索视觉 Transformer
原文中文,约500字,阅读约需2分钟。发表于: 。研究论文提出了 Quasar-ViT,这是一个面向硬件的量化感知架构搜索框架,用于设计高效 ViT 模型以在硬件上实现,并保持准确性。它通过训练一个超网络,使用适应性的量化方案、混合精度权重纠缠和超网络层缩放技术,然后应用高效的面向硬件的搜索算法,结合硬件延迟和资源建模,在不同推理延迟目标下确定一系列最优的子网络。最后,我们在 FPGA...
研究论文提出了Quasar-ViT,一个面向硬件的量化感知架构搜索框架,用于设计高效ViT模型并保持准确性。通过训练超网络,使用适应性的量化方案和超网络层缩放技术,确定一系列最优的子网络。在FPGA平台上实现了高速推理和较高的准确性。