本研究提出了一种新颖的时间转换模块,有效解决了脉冲神经网络在处理时间特征与低能耗之间的矛盾,显著提高了效率和准确性。
研究发现,脉冲神经网络(SNN)在抵御攻击方面优于传统神经网络,但新出现的“BIS”攻击利用隐性梯度漏洞,能够有效突破多种防御机制,揭示了SNN训练的根本脆弱性。
本研究提出了一种自注意时空校准(SASTC)方法,旨在提高脉冲神经网络(SNN)的准确性。该方法通过自注意机制实现了人工神经网络(ANN)与SNN之间的语义对齐,显著提升了SNN在CIFAR-10和CIFAR-100数据集上的表现,推动了SNN的应用潜力。
本研究探讨了生成对抗网络(GAN)在医学影像中的应用,提出多种方法生成高质量的组织学图像,以提高癌症诊断和肿瘤检测的性能。研究表明,GAN和其他深度学习技术能够有效解决数据不平衡问题,增强模型的鲁棒性和准确性。
该文章介绍了基于SRAM的存内计算架构COMPASS,用于高效部署脉冲神经网络SNN。通过利用输入和输出脉冲的稀疏性,减少了冗余计算和内存占用,实现了高效的并行执行。性能评估结果显示,COMPASS在端到端加速方面提升了24.4倍,能耗降低了386.7倍。这一创新成果为低能耗人工智能的发展提供了新的思路和支持。
该研究提出了一种新型硬件架构,支持脉冲神经网络(SNN)的训练与应用,显著提高了能效和准确性。通过联合训练人工神经网络与SNN,优化了模型性能,尤其在CIFAR100任务中表现优异。此外,研究还探讨了SNN在语义分割中的应用,显示出其在稳健性和节能方面的优势。
本文提出了一种通过人工神经网络(ANN)转化为脉冲神经网络(SNN)的算法,旨在增强SNN的鲁棒性。该方法在微调阶段优化发射阈值和突触权重,提高了SNN对黑盒攻击的抵抗力。研究表明,SNN的鲁棒性与训练机制密切相关,并提出了有效的对抗性攻击框架。通过新的训练方法,SNN在对抗攻击下的性能显著提升,为神经形态计算提供了新的视角。
通过引入修剪优化进行基于输入感知的动态膜晶体突触网络 (PRIME),我们克服了机器学习中的根本挑战,实现了优化系统拓扑结构、降低延迟、提高能效并达到与软件基准相媲美的分类准确性。
本文介绍了一种将深度神经网络转换为脉冲神经网络的通用方法,并探讨了在神经形态硬件上部署后的性能提升。研究表明,采用新技术后,功耗降低27倍,能耗降低5倍。通过优化多芯片网络和正则化方法,确保在降低功耗的同时保持高准确性,为高效机器学习应用提供了新思路。
本文提出了一种新的人工神经网络(ANN)转脉冲神经网络(SNN)框架,结合细粒度正则化和时空反向传播(STBP)训练方法,实现低延迟、低能耗和高准确性。该框架在多个数据集上表现优异,推动了类脑计算的发展。
本文探讨了脉冲神经网络(SNN)在基于事件的目标检测中的应用,展示了其在处理稀疏数据时的优势。SNN在Gen1基准数据集上取得了47.7%的平均精度,显著超越传统人工神经网络(ANN)。该模型结构简洁,计算成本低,适用于高速平台如车辆和无人机。
该文综述残差网络研究,比较ResNets与PlnNets性能,指出其泛化优势与噪音容错相关;证明残差连接不增加假设复杂性并给出泛化界;分析深层极限收敛性、与RNN及视觉皮层的关系、跳转连接的作用,并扩展SNN深度,从神经切向核角度解释泛化优势。
该文综述多项时间序列与脉冲神经网络研究,涵盖时间注意力SNN处理事件流、多阈值方法提升SNN精度、时间-通道联合注意架构提高数据效率、时间交互模块增强时序建模、对比学习用于多模态生物医学数据、全连接时空图网络建模多元依赖,以及可解释性方法探索。
本文综述脉冲神经网络(SNN)在手势识别中的应用。一项研究采用低分辨率热传感器结合SNN与稀疏分割,在汽车数据集上达到93.9%准确率,内存和计算量比深度学习低一个数量级。其他工作包括DNN转SNN、Loihi芯片实时识别、Spiking Gating Flow在线动作识别、美国手语分类以及事件与深度数据融合等,表明SNN在精度、延迟和能耗方面具有优势。
该文综述脉冲神经网络(SNN)训练与转换的主要进展:多阈值方法减少二值激活精度损失,使SNN以更少步骤达到更高准确率;门限平衡与软重置实现几乎无损的ANN到SNN转换;突触阈值协同学习同时训练权重和阈值以提升准确率;优化初始膜电位实现低延迟高精度转换;H2Learn、渐进串联深度SNN、联合训练框架等提升效率与性能。
Spikformer是一种结合了自注意力和脉冲神经网络的SNN设计架构,使用脉冲自注意力模块混合稀疏视觉特征,并通过线性变换加速。实验结果显示,具有线性变换的Spikformer在图像分类方面具有更高的准确率和更快的速度。
SpikingJelly是一个全套工具包,用于构建深度SNN并将其部署到神经形态芯片,具有可扩展性和灵活性,加快了深度SNN的训练速度,为合成高能效的基于SNN的机器智能系统铺平了道路。
完成下面两步后,将自动完成登录并继续当前操作。