通过静态和动态修剪在 FPGA 上加速 ViT 推理
原文中文，约200字，阅读约需1分钟。发表于：。提出了一种综合算法 - 硬件设计，通过同时进行静态权重剪枝和动态令牌剪枝，加速在 FPGA 上的 ViT（Vision Transformers）模型，以减少计算复杂性和模型大小。
本文介绍了一种名为HeatViT的硬件高效的图像自适应标记修剪框架，可在嵌入式FPGA上实现高效而准确的ViT加速。该框架通过重复利用现有硬件组件来实现标记选择器，并使用固定点量化和多阶段训练策略来优化插入标记选择器的变压器块。这种方法使得模型在硬件上提高了准确性和推理延迟，并且在与现有计算成本相似的情况下可以获得更高的准确性，或者在与相似模型准确性相似的情况下实现更高的计算量减少。
