Spikformer V2:使用 SNN 特征进行 ImageNet 高精度计算
原文约600字/词,阅读约需2分钟。发表于: 。通过结合自注意能力和生物特性,本论文提出了一种新颖的脉冲自注意 (SSA) 和脉冲变换器 (Spikformer),其中 SSA 机制消除了 softmax 的需求,利用基于脉冲的查询、键和值实现了稀疏视觉特征的捕获,而 SCS 则用于增强 Spikformer 的架构。通过自监督学习 (SLS) 实现对更大、更深的 Spikformer V2 的训练,实验证明此方法在 ImageNet...
Spikformer是一种结合了自注意力和脉冲神经网络的SNN设计架构,使用脉冲自注意力模块混合稀疏视觉特征,并通过线性变换加速。实验结果显示,具有线性变换的Spikformer在图像分类方面具有更高的准确率和更快的速度。