KWT-Tiny：RISC-V 加速，嵌入式关键词检测 Transformer
内容提要
本文介绍了一种优化的 Transformer 硬件加速器，专为 AIoT 系统中的设备端时间序列预测设计。通过整数量化和量化感知训练，实现了 4 位和 6 位量化模型，性能接近 8 位模型。实验结果显示，4 位模型测试损失仅增加 0.63%，运行速度提升 132.33 倍，能耗降低 48.19 倍，证明了在嵌入式 IoT 设备上部署 Transformer 模型的可行性。
延伸解读
量化精度与效率的权衡
文章通过整数量化和量化感知训练，将Transformer模型压缩至4位和6位，精度与8位模型相当。4位模型测试损失仅增加0.63%，但运行速度提升132.33倍，能耗降低48.19倍。这表明在嵌入式设备上，极低位量化能在几乎不损失精度的情况下大幅提升能效，为资源受限的AIoT场景提供了可行路径。
RISC-V平台上的优化策略
研究在开源RISC-V平台上实现了全流程Transformer推理，通过分布式Softmax原语、ISA扩展支持SIMD浮点操作数流和指令重复，以及专用DMA引擎来减少主内存访问延迟。这些优化使仅编码器模型加速达12.8倍，仅解码器模型在自回归模式下加速高达35.6倍，展示了软硬件协同设计在边缘推理中的潜力。
嵌入式部署的可行性与挑战
在Xilinx Spartan-7 FPGA上的完整实现表明，尽管优化后性能足够，但过程并不简单。FPU利用率超过79%，能效达294 GFLOPS/W，比现有加速器性能高2倍以上。然而，实现这样的优化需要深入硬件设计，包括定制指令和内存管理，这增加了开发复杂度，可能限制其广泛应用。
Q&A
KWT-Tiny的主要功能是什么？
KWT-Tiny是一种为AIoT系统中的设备端时间序列预测而优化的Transformer硬件加速器。
KWT-Tiny在性能上有哪些显著提升？
KWT-Tiny的4位量化模型运行速度提升132.33倍，能耗降低48.19倍，测试损失仅增加0.63%。
KWT-Tiny是如何实现量化的？
KWT-Tiny结合了整数量化和量化感知训练，实现了6位和4位量化的Transformer模型。
在嵌入式FPGA上测试KWT-Tiny的结果如何？
在嵌入式FPGA上，KWT-Tiny的4位量化模型显示出优越的性能，测试损失增加极小，且运行速度和能耗表现显著。
KWT-Tiny的优化过程是否复杂？
尽管KWT-Tiny能够达到足够的性能，但优化过程并不简单。
KWT-Tiny在不同模式下的加速比是多少？
在仅解码器模型中，KWT-Tiny在非自回归模式下实现16.1倍加速，自回归模式下实现高达35.6倍的加速。
