BriefGPT - AI 论文速递
·
通过静态和动态修剪在 FPGA 上加速 ViT 推理
💡
原文中文，约200字，阅读约需1分钟。
📝
内容提要
本文介绍了一种名为HeatViT的硬件高效的图像自适应标记修剪框架，可在嵌入式FPGA上实现高效而准确的ViT加速。该框架通过重复利用现有硬件组件来实现标记选择器，并使用固定点量化和多阶段训练策略来优化插入标记选择器的变压器块。这种方法使得模型在硬件上提高了准确性和推理延迟，并且在与现有计算成本相似的情况下可以获得更高的准确性，或者在与相似模型准确性相似的情况下实现更高的计算量减少。
🎯
关键要点
-
提出了一种名为HeatViT的硬件高效图像自适应标记修剪框架。
-
HeatViT旨在嵌入式FPGA上实现高效而准确的ViT加速。
-
框架通过显著重复利用现有硬件组件来实现标记选择器。
-
使用固定点量化和多阶段训练策略来优化插入标记选择器的变压器块。
-
该方法提高了模型在硬件上的准确性和推理延迟。
-
在与现有计算成本相似的情况下，HeatViT可以获得更高的准确性。
-
在与相似模型准确性相似的情况下，HeatViT实现了更高的计算量减少。
➡️
