通过静态和动态修剪在 FPGA 上加速 ViT 推理

BriefGPT - AI 论文速递 · 2024-03-21T00:00:00Z

本文介绍了一种名为HeatViT的硬件高效的图像自适应标记修剪框架，可在嵌入式FPGA上实现高效而准确的ViT加速。该框架通过重复利用现有硬件组件来实现标记选择器，并使用固定点量化和多阶段训练策略来优化插入标记选择器的变压器块。这种方法使得模型在硬件上提高了准确性和推理延迟，并且在与现有计算成本相似的情况下可以获得更高的准确性，或者在与相似模型准确性相似的情况下实现更高的计算量减少。