基于hls4ml的FPGA低延迟变换器推理在物理应用中的实现

BriefGPT - AI 论文速递 · 2024-09-08T00:00:00Z

本文介绍了一种为AIoT系统中的设备端时间序列预测而优化的Transformer硬件加速器的设计，实现了6位和4位量化的Transformer模型。4位量化模型相比8位量化模型，测试损失仅增加0.63%，运行速度提高132.33倍，能耗减少48.19倍。