神经形态学事件驱动的微电网中的语义通信
内容提要
该文综述神经形态计算与脉冲神经网络(SNN)的系统设计进展,涵盖无线物联网、算法-架构协同、DNN转SNN部署、SpiNNaker2与TrueNorth芯片、联邦学习、高能物理数据过滤及脑启发实时平台,重点提升能效、延迟与精度。
延伸解读
神经形态计算在无线物联网中的系统级创新
文章提出了一种神经形态计算无线物联网系统设计,将脉冲传感、处理和通信集成于每个设备。设备搭载神经形态传感器、脉冲神经网络和多天线脉冲无线电发射器,通过共享衰落信道与接收器通信。联合训练导引、编码、解码神经网络和超级网络,相比传统数字帧处理和非自适应方法,显著提升了精度和能耗指标。
算法与硬件协同设计的关键进展
文章回顾了脉冲神经网络(SNN)的算法优化和架构协同设计,旨在实现低延迟、高能效的复杂机器学习应用。通过混合方法将模型计算整合到内存和传感器中,并探讨了算法-硬件-应用协同设计中的挑战,特别强调了可信性。这些进展为构建可部署的SNN系统提供了基础。
从DNN到SNN的转换与硬件部署
文章提供了将预训练深度神经网络转换为脉冲神经网络的通用指南,并介绍了在神经形态硬件上部署的技术。实验表明,使用SNN改进技术后,Intel的Loihi处理器在图像分类任务中比Intel Neural Compute Stick 2功耗降低最多27倍,能耗降低最多5倍,显著提升了延迟和能效。
神经形态硬件平台与语言模型实现
文章介绍了SpiNNaker2数字神经形态芯片,用于可扩展机器学习,支持人工神经网络、仿生脉冲神经网络和基于事件的神经网络。基于SpiNNaker2和EGRU事件驱动架构,实现了首个基于神经形态设备的语言模型,性能可与LSTM相媲美,为提升到大型语言模型水平奠定了基础。
Q&A
神经形态计算无线物联网系统是如何设计的?
该系统整合了基于脉冲的传感、处理和通信。每个感测设备搭载神经形态传感器、脉冲神经网络和多天线脉冲无线电发射器,通过共享衰落信道传输到具有多天线脉冲无线电接收器和脉冲神经网络的接收器。系统在多个信道实现中联合训练了导引、编码神经网络、解码神经网络和超级网络,相比传统数字帧处理和非自适应训练方法,显著提高了精度和能耗指标。
脉冲神经网络(SNN)相比深度神经网络有什么优势?
SNN作为深度神经网络的一种有吸引力的替代方法,已广泛应用于处理来自不同感觉模态的静态和/或时间输入的信号处理应用。它们旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用,并在算法-架构共设计方面探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。
如何将预训练的深度神经网络(DNN)转换为脉冲神经网络(SNN)并部署到神经形态硬件?
本文提供了一种将预训练的DNN转换为SNN的通用指南,并介绍了在神经形态硬件上部署转换后的SNN的技术,可显著改进延迟、功耗和能耗。实验结果表明,与Intel Neural Compute Stick 2相比,使用SNN改进技术,Intel的神经形态处理器Loihi在图像分类任务中功耗降低了最多27倍,能耗降低了最多5倍。
SpiNNaker2芯片有什么特点和应用?
SpiNNaker2是一种数字神经形态芯片,用于可扩展机器学习,能够深度整合神经生物系统的计算原理,包括人工神经网络、仿生脉冲神经网络和基于事件的神经网络,并旨在促进未来一代机器学习系统的基于事件和异步算法的发展。该芯片上实现了首个基于神经形态学设备的语言模型,基于事件驱动架构EGRU,首次能与LSTM相媲美。
基于SNN的在线联邦学习规则FL-SNN是如何工作的?
FL-SNN通过引入在线联邦学习,利用局部和全局反馈信号实现协作训练,从而解决了有限数据的问题,并在通信负载和准确度之间实现了灵活的权衡。
神经形态计算如何用于高能物理实验中的数据过滤?
本文研究了基于神经形态计算的SNN模型,用于过滤高能物理实验中传感器电子学数据。提出了一种开发紧凑型神经形态模型的方法,根据粒子的横向动量过滤传感器数据,以减少发送到下游电子设备的数据量。传入的电荷波形被转换为二进制事件流,由SNN处理。使用进化算法和优化的超参数训练的SNN获得了约91%的信号效率,并且参数数量几乎是深度神经网络的一半。