嵌入式图卷积网络在 SoC FPGA 上的实时事件数据处理
内容提要
本文介绍了一种基于事件相机数据流的图形生成硬件实现，利用图卷积网络（GCNs）分析事件数据，降低计算和内存成本，提高分类准确率。研究提出了异步事件驱动图神经网络（AEGNN）和EvGNN加速器，优化边缘视觉系统性能，降低延迟和能耗。新框架SlideGCN和Ev-Edge框架进一步提升事件处理效率，展示多任务场景中的优势。
延伸解读
内存成本：被忽视的优化维度
文章指出，当前基于图卷积网络的事件数据分析研究多聚焦于降低计算成本，却忽视了内存成本。本文通过比较不同图卷积操作，综合考虑执行时间、参数数量、数据格式和训练结果，实现了特征提取模块参数减少450倍、数据表示大小减少4.5倍，同时分类准确率提升6.3%。这提示读者，在边缘设备上，内存优化与计算优化同等重要，尤其对于资源受限的嵌入式平台。
异步事件驱动：从静态图到动态演化图
AEGNN将事件处理范式从静态图扩展到事件数据域中演化的稀疏图，在物体分类和检测任务上，计算复杂度提高11倍，计算延迟降低8倍。这意味着处理不再是固定图上的批量操作，而是随事件流动态更新，更贴合事件相机的高时间分辨率特性。对于需要低延迟的应用，这种异步范式可能带来新的设计思路，但同时也对硬件调度和内存管理提出了更高要求。
边缘部署：加速器与框架的协同优化
EvGNN作为首个用于边缘视觉的事件驱动GNN加速器，利用定向动态图、事件队列和层并行处理，实现了微秒级分辨率的实时处理。Ev-Edge框架则通过事件流转换、动态稀疏帧聚合和网络映射，在NVIDIA Jetson Xavier AGX上相比全GPU实现获得1.28至2.05倍的延迟改进和1.23至2.15倍的能源改进。这些工作表明，算法与硬件的协同设计是提升边缘视觉系统能效的关键。
事件级处理：早期识别与计算复杂度降低
SlideGCN框架通过逐个处理事件并保持图的内部结构，采用半径搜索算法利用事件云的部分规则结构，在保持最先进目标识别性能的同时，将计算复杂度降低100倍。此外，事件级处理允许在状态稳定时以高置信度进行早期识别。这为需要快速响应的应用提供了可能，但早期识别的可靠性依赖于事件流的稳定程度，实际部署时需权衡识别速度与准确性。
Q&A
什么是异步事件驱动图神经网络（AEGNN）？
AEGNN是一种将事件处理从静态图扩展到动态稀疏图的网络，能够在物体分类和检测任务中提高计算复杂度11倍，同时降低计算延迟8倍。
EvGNN加速器的主要特点是什么？
EvGNN是第一个用于边缘视觉的事件驱动GNN加速器，具有低内存占用、超低延迟和高准确性，支持实时微秒级分辨率事件驱动视觉。
SlideGCN框架如何提高事件处理效率？
SlideGCN通过逐个处理事件并保持图的内部结构，降低计算复杂度100倍，同时保持目标识别性能。
Ev-Edge框架的优化技术有哪些？
Ev-Edge框架通过将事件流转换为稀疏帧、动态稀疏帧聚合和网络映射等三项关键优化技术，提高边缘视觉系统的性能。
基于事件相机的数据流处理有什么优势？
基于事件相机的数据流处理具有高时间分辨率、高动态范围、低延迟和抗图像模糊性等优势，适合实时视觉应用。
该研究如何降低计算和内存成本？
研究通过简化图形表示、值的缩放和量化方法，显著减少特征提取模块的参数数量和数据表示大小，从而降低计算和内存成本。
