使用 CSNN 在 ASL-DVS 上进行事件驱动数据处理和分类
内容提要
本文介绍了脉冲神经网络（SNNs）在手势识别中的优势，展示了如何将深度神经网络（DNNs）转换为SNNs，并在Intel Loihi芯片上实现实时手势识别。研究通过新型神经视觉感测器和紧凑图卷积神经网络，提高了识别精度和能效，特别是在美国手语识别任务中表现突出。
延伸解读
从DNN到SNN的转换策略
文章重点讨论了将训练好的深度神经网络转换为脉冲神经网络的方法。这种转换允许利用DNN成熟的训练流程，同时获得SNN在能效和抗干扰性上的优势。在Intel Loihi芯片上实现的实时手势识别表明，转换后的SNN能够保持较高的准确率，为神经形态计算的应用提供了可行路径。
神经形态硬件与边缘计算优势
研究显示，在Intel Loihi上实现的SNN在精度、延迟、功耗和能耗方面均优于英特尔神经计算棒2。异步SNN的分类准确率仅比同步CNN低3%，但计算量减少了12倍。这些结果突显了SNN在低功耗、快速处理的边缘计算场景中的潜力，尤其适合实时手势识别等任务。
图卷积与紧凑表示提升性能
文章提出了一种用于神经视觉感测器的紧凑图表征方法和残差图卷积神经网络架构，并构建了大型美国手语字母NVS数据集。这种方法通过端到端特征学习提高了神经形态视觉感知的性能，尤其在行动识别方面表现出色，为复杂手语字母识别提供了有效方案。
实时视频流中的手势识别泛化
针对ASL手语字母在实时视频流中的识别，研究发现使用卷积网络和VGG16迁移学习无法在不同背景设置中泛化。通过结合手部关节检测模型和全连接神经网络，利用关节位置信息，成功提高了识别效果，并将方法推广到实时视频流应用，为实际部署提供了参考。
Q&A
脉冲神经网络（SNNs）与深度神经网络（DNNs）相比有哪些优势？
脉冲神经网络（SNNs）具有更高的能效和抗干扰性，适合于实时手势识别等应用。
如何将深度神经网络转换为脉冲神经网络？
研究中提出了一种方法，通过特定的转换技术将经过训练的DNNs转化为SNNs，以实现实时手势识别。
在手势识别中，使用了哪些新技术？
研究中使用了新型神经视觉感测器和紧凑图卷积神经网络，以提高识别精度和能效。
Intel Loihi芯片在手势识别中表现如何？
在Intel Loihi芯片上实现的SNNs手势识别表现出色，精度、延迟和能耗均优于其他平台。
异步脉冲神经网络的分类准确率如何？
异步脉冲神经网络的分类准确率仅比同步CNN低3%，但计算量减少了12倍，具有低功耗和快速处理的优势。
如何在实时视频流中应用手势识别？
通过结合卷积网络和手部关节检测模型，成功将手势识别方法推广到实时视频流中。
