BriefGPT - AI 论文速递
·
RISC-V RVV 对 ANN 算法的效率
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本文介绍了在RISC-V平台上实现的Transformer模型的推理结果，通过优化算法和硬件设计实现了高速高效的计算。编码器模型实现了12.8倍的加速，解码器模型实现了35.6倍的加速。与专用加速器相比，FPU利用率提高了2.04倍。
🎯
关键要点
-
在RISC-V平台上实现了Transformer模型的推理结果。
-
通过优化算法和硬件设计实现了高速高效的计算。
-
编码器模型实现了12.8倍的加速。
-
解码器模型在非自回归模式下实现16.1倍加速，自回归模式下实现35.6倍加速。
-
FPU利用率提高了2.04倍，超过79%的利用率和294 GFLOPS/W的性能。
-
实现了分布式Softmax原语和SIMD浮点操作数流，减少主内存访问延迟。
➡️
