嵌入式图卷积网络在 SoC FPGA 上的实时事件数据处理

💡 原文中文,约600字,阅读约需2分钟。
📝

内容提要

本研究利用事件相机解决传统视频系统限制,通过图卷积网络 (GCN) 的运用保证处理事件系统所需的吞吐量和延迟性。同时,解决了硬件模型的可扩展性问题。这是首次在SoC FPGA上加速PointNet++网络,也是首次针对实时连续事件数据处理进行图卷积网络实现的硬件架构研究。

🎯

关键要点

  • 本研究利用事件相机解决传统视频系统的限制。
  • 通过图卷积网络 (GCN) 保证处理事件系统所需的吞吐量和延迟性。
  • 针对点云处理的 GCN 架构 PointNet++ 进行硬件优化,实现模型尺寸超过 100 倍压缩。
  • 在精度方面仅有较小的减少,N-Caltech101 分类减少 2.3%,N-Cars 分类减少 1.7%。
  • 介绍了一种自定义的基于 FPGA 加速的事件驱动图卷积网络 (EFGCN)。
  • 在 ZCU104 SoC FPGA 平台上实现每秒 13.3 百万事件 (MEPS) 的吞吐量和 4.47 毫秒的实时部分异步处理延迟。
  • 解决了所提出硬件模型的可扩展性,以提高准确性分数。
  • 这是首次在 SoC FPGA 上加速 PointNet++ 网络的研究。
  • 首次针对实时连续事件数据处理进行图卷积网络实现的硬件架构研究。
  • 软件和硬件源代码将在开放的代码库中发布。
➡️

继续阅读