嵌入式图卷积网络在 SoC FPGA 上的实时事件数据处理
💡
原文中文,约1800字,阅读约需5分钟。
📝
内容提要
本文介绍了一种基于事件相机数据流的图形生成硬件实现,利用图卷积网络(GCNs)分析事件数据,降低计算和内存成本,提高分类准确率。研究提出了异步事件驱动图神经网络(AEGNN)和EvGNN加速器,优化边缘视觉系统性能,降低延迟和能耗。新框架SlideGCN和Ev-Edge框架进一步提升事件处理效率,展示多任务场景中的优势。
🎯
关键要点
- 本文介绍了一种基于事件相机数据流的图形生成硬件实现,利用图卷积网络(GCNs)分析事件数据。
- 通过简化图形表示和使用值的缩放和量化的方法,改进图像检测性能。
- 相较于最先进方法,特征提取模块的参数数量减少了450倍,数据表示的大小减少了4.5倍,分类准确率提高了6.3%。
- 提出了异步事件驱动图神经网络(AEGNN),实现了计算复杂度提高11倍,同时降低计算延迟8倍。
- EvGNN是第一个用于边缘视觉的事件驱动GNN加速器,实现了低内存占用和高准确性。
- 新框架SlideGCN通过事件逐个处理,计算复杂度降低了100倍,保持了目标识别性能。
- Ev-Edge框架通过三项关键优化技术提高边缘平台上基于事件的视觉系统性能,延迟和能源效率显著提升。
❓
延伸问答
什么是异步事件驱动图神经网络(AEGNN)?
AEGNN是一种将事件处理从静态图扩展到动态稀疏图的网络,能够在物体分类和检测任务中提高计算复杂度11倍,同时降低计算延迟8倍。
EvGNN加速器的主要特点是什么?
EvGNN是第一个用于边缘视觉的事件驱动GNN加速器,具有低内存占用、超低延迟和高准确性,支持实时微秒级分辨率事件驱动视觉。
SlideGCN框架如何提高事件处理效率?
SlideGCN通过逐个处理事件并保持图的内部结构,降低计算复杂度100倍,同时保持目标识别性能。
Ev-Edge框架的优化技术有哪些?
Ev-Edge框架通过将事件流转换为稀疏帧、动态稀疏帧聚合和网络映射等三项关键优化技术,提高边缘视觉系统的性能。
基于事件相机的数据流处理有什么优势?
基于事件相机的数据流处理具有高时间分辨率、高动态范围、低延迟和抗图像模糊性等优势,适合实时视觉应用。
该研究如何降低计算和内存成本?
研究通过简化图形表示、值的缩放和量化方法,显著减少特征提取模块的参数数量和数据表示大小,从而降低计算和内存成本。
➡️