Spikformer V2：使用 SNN 特征进行 ImageNet 高精度计算
原文约600字/词，阅读约需2分钟。发表于：。通过结合自注意能力和生物特性，本论文提出了一种新颖的脉冲自注意 (SSA) 和脉冲变换器 (Spikformer)，其中 SSA 机制消除了 softmax 的需求，利用基于脉冲的查询、键和值实现了稀疏视觉特征的捕获，而 SCS 则用于增强 Spikformer 的架构。通过自监督学习 (SLS) 实现对更大、更深的 Spikformer V2 的训练，实验证明此方法在 ImageNet...
Spikformer是一种结合了自注意力和脉冲神经网络的SNN设计架构，使用脉冲自注意力模块混合稀疏视觉特征，并通过线性变换加速。实验结果显示，具有线性变换的Spikformer在图像分类方面具有更高的准确率和更快的速度。
