论文荣登计算机体系结构顶会ISCA，芯片架构成为边缘AI最佳并行计算选择
内容提要
本文讨论了边缘人工智能（AI）服务器市场趋势和适合边缘AI的理想计算架构。作者介绍了可重构计算架构CGRA，并提出了基于CGRA的可重构并行处理器（RPP）作为边缘AI的最佳选择。文章还介绍了RPP架构的详细信息和R8芯片的能效对比。总体而言，RPP处理器被认为是边缘AI应用中最理想的高性能并行计算架构之一。
延伸解读
边缘AI计算架构的权衡
文章对比了GPGPU、FPGA、NPU和ASIC等架构，指出GPGPU在边缘场景存在高功耗、高成本问题，FPGA则因位级可重构带来面积和功率开销。CGRA作为粗粒度可重构架构，在灵活性和能效之间取得平衡，更适合边缘AI的并行计算需求。
RPP架构的设计特点
RPP采用准静态可重构阵列和SIMT编程模型，兼容CUDA，降低了编程难度。其环形拓扑和垫片内存实现了高效的数据重用，分层内存设计支持灵活的内存访问。这些特性使RPP易于扩展至大规模阵列，适合边缘AI的并行处理。
R8芯片的实测表现
基于RPP架构的R8芯片在ResNet-50推理中，吞吐量分别是Jetson Nano和Jetson Xavier AGX的41.3倍和2.3倍，能效分别为27.5倍和4.6倍。在Yolo模型上，R8的吞吐量也高于Jetson Nano Orin和Jetson Xavier Nx。R8芯片面积仅119平方毫米，适合面积受限的边缘场景。
学术认可与市场前景
RPP架构论文被ISCA 2024收录，接收率仅19.6%，Industry Track更低至15.3%，表明其创新性获国际学术权威认可。随着边缘AI服务器市场以30%的年复合增长率扩张，RPP处理器有望成为边缘AI加速的重要选择。
Q&A
边缘AI是什么？
边缘AI是将AI算法嵌入本地环境进行实时数据处理的技术，主要应用于智能手机、物联网设备等。
RPP处理器的优势是什么？
RPP处理器在延迟、功耗、面积成本和通用性方面表现优越，适合大规模并行计算。
边缘AI服务器市场的增长趋势如何？
预计到2027年，边缘AI服务器市场将保持30%的年复合增长率。
R8芯片与传统GPU的能效对比如何？
R8芯片的能效分别是Jetson Nano和Jetson Xavier AGX的27.5倍和4.6倍，表现明显优于传统GPU。
CGRA架构的特点是什么？
CGRA架构提供粗粒度的可重构性，适合边缘AI应用，具有较低的延迟和功耗。
RPP架构获得了什么样的学术认可？
RPP架构的论文被国际计算机体系结构顶会ISCA 2024收录，获得了国际学术权威的认可。
