适应性令牌的视觉变换器在尖峰神经网络中的应用
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了尖峰神经网络（SNNs）中训练和推理能耗高的问题，提出了一种名为AT-SNN的新方法。该方法动态调整推理过程中处理的令牌数量，通过适应性计算时间和令牌合并机制，显著提高了能效和准确性。实验结果表明，AT-SNN在CIFAR-100数据集上相比现有最佳方法，减少了42.4%的令牌，同时保持了更高的准确性。
本论文提出了一种结合自注意能力和生物特性的新方法，即脉冲自注意和脉冲变换器，用于捕获稀疏视觉特征。通过自监督学习训练Spikformer V2，在ImageNet上实现了超过80%的准确性，成为首个达到此准确性的SNN方法。
