基于 FPGA 的可重构卷积 - 变换器混合高效 ViT 加速器

本研究提出了一种基于 FPGA 的加速器，用于提高 Vision Transformers 的硬件效率，其中采用了可重构的架构以支持各种操作类型，并通过时分复用和流水线数据流来降低片外数据访问成本，实验证明其在 Xilinx ZCU102 FPGA 上能够显著优于之前的工作，达到了高达 780.2 GOPS 的吞吐量和 105.1 GOPS/W 的能效比。