本文提出了一种新颖的脉冲自注意力（SSA）和脉冲变换器（Spikformer），通过自监督学习训练，实验证明在ImageNet上分类准确性超过80%。Spikformer架构结合了脉冲神经网络的生物特性，显著提高了能效和性能，尤其在大规模数据集上表现优异。此外，研究展示了通过线性变换加速SSA的潜力，提升了训练和推断速度，减少了内存使用。