在神经形态学和边缘 AI 硬件上有效部署混合 SNN
内容提要
本文介绍了一种将深度神经网络转换为脉冲神经网络的通用方法，并探讨了在神经形态硬件上部署后的性能提升。研究表明，采用新技术后，功耗降低27倍，能耗降低5倍。通过优化多芯片网络和正则化方法，确保在降低功耗的同时保持高准确性，为高效机器学习应用提供了新思路。
延伸解读
从DNN到SNN的转换方法
文章提出了一种将预训练深度神经网络转换为脉冲神经网络的通用方法。通过初始化辅助人工神经网络，解决了脉冲神经网络的长转移期和状态衰减问题。同时，采用细粒度L1正则化和替代梯度等技术，实现了极低时间步下的无损转换，例如在ImageNet数据集上仅用4个时间步达到73.30%的准确率。这些方法为在神经形态硬件上高效部署SNN提供了基础。
神经形态硬件的性能优势
在Intel Loihi神经形态芯片上部署转换后的SNN，相比传统硬件如Intel Neural Compute Stick 2，功耗降低了最多27倍，能耗降低了最多5倍。通过优化多芯片网络的分区方法和对定期发放率进行正则化，在降低功耗的同时保持了高准确性。这表明神经形态硬件在能效方面具有显著优势，尤其适合边缘AI应用。
混合SNN-ANN架构的应用
文章介绍了多种混合SNN-ANN架构，结合了事件图像和异步计算的优势。例如，在光流估计任务中，混合架构在准确性和效率上均优于纯ANN或纯SNN。在人体姿势估计中，ANN-SNN模型性能下降仅4%，但功耗降低88%。这些案例展示了混合架构在保持高性能的同时大幅降低能耗的潜力。
算法-硬件-应用共设计挑战
文章强调了算法、硬件和应用共设计领域的关键挑战，特别是可信性问题。为了实现高能效和低延迟，同时保持高准确性和可信性，需要在算法优化、硬件架构和应用需求之间进行权衡。研究指出，在内存组件和传感器中整合模型计算是提高能效的重要方向，但构建可部署的SNN系统仍面临诸多挑战。
Q&A
如何将深度神经网络转换为脉冲神经网络？
本文提供了一种通用方法，将预先训练的深度神经网络转换为脉冲神经网络，涉及优化多芯片网络和正则化技术。
在神经形态硬件上部署脉冲神经网络的性能如何？
在神经形态硬件上，脉冲神经网络的功耗降低了27倍，能耗降低了5倍，显著提升了性能。
优化多芯片网络的分区方法有什么优势？
优化多芯片网络的分区方法可以在降低功耗的同时保持高准确性，减少精度损失。
脉冲神经网络的长转移期和状态衰减问题如何解决？
通过初始化辅助人工神经网络，提出的ANN-SNN模型有效解决了脉冲神经网络的长转移期和状态衰减问题。
混合体系结构在准确性和效率上有什么优势？
新提出的混合体系结构结合了事件图像和异步计算的优势，显著提升了准确性和效率。
在算法和硬件共设计中面临哪些关键挑战？
研究强调了算法、硬件和应用的共设计领域的关键挑战，特别是可信性问题。
