SSTFormer:连接脉冲神经网络和具备记忆支持的转换器用于基于帧事件的识别

💡 原文中文,约500字,阅读约需1分钟。
📝

内容提要

基于事件的传感器具有高时间分辨率和动态范围,适用于高速平台。脉冲神经网络适用于基于事件的数据,具有稳定训练和高性能的优势。我们开发了一种高效的脉冲特征金字塔网络用于基于事件的目标检测,在基准数据集上取得了显著成绩。我们的模型结构简洁,同时保持高精度和较低计算成本。

🎯

关键要点

  • 基于事件的传感器具有高时间分辨率(1微秒)和动态范围(120dB),适用于高速平台。
  • 事件的稀疏性和波动性对传统目标检测技术构成挑战。
  • 脉冲神经网络(SNNs)因其时间动态性,适合表示基于事件的数据。
  • 膜电位动力学调节网络活动,增强稀疏输入特征。
  • 脉冲触发的自适应阈值可稳定训练,提高网络性能。
  • 开发了一种高效的脉冲特征金字塔网络用于基于事件的目标检测。
  • 该模型在Gen1基准数据集上取得了47.7%的平均精度,超过以前最佳SNN 9.7%。
  • 模型结构简洁,保持高精度和低计算成本,适合稀疏计算。
  • 代码将公开提供。
➡️

继续阅读