本文提出了一种新颖的脉冲自注意（SSA）和脉冲变换器（Spikformer），通过自监督学习训练，实验证明其在ImageNet上的分类准确性超过80%。Spikformer结合了脉冲神经网络的生物特性和自注意力机制，展示了在多个数据集上的优越性能。新架构通过引入线性变换加速计算，提高了训练和推断速度，并减少了内存使用。