KWT-Tiny：RISC-V 加速，嵌入式关键词检测 Transformer
原文中文，约400字，阅读约需1分钟。发表于：。本文通过对 ARM 关键词转换器（KWT）模型在 RISC-V 平台上进行量化和硬件加速来探讨如何使 Transformer-based 模型适用于边缘设备，通过将输出类别从 35 个减少到 2 个，重新训练和量化将模型大小从 2.42MB 减小到 1.65 kB，并通过集成自定义的 RISC-V 指令对 GELU 和 SoftMax 操作进行加速，实现了 5 倍的推断速度提升和 5...
本文研究了在边缘设备上使用ARM KWT模型的方法，并通过量化和硬件加速适应RISC-V平台。模型大小从2.42MB减小到1.65kB，通过自定义RISC-V指令对GELU和SoftMax操作进行加速。推断速度提升5倍，功耗降低5倍，时钟周期减少到550万个，但面积开销约为29％。提供了在低功耗物联网设备中移植和加速Transformer-based模型的可行方法。
