本研究提出了一种名为SpiLiFormer的脉冲变换器，受到大脑侧抑制机制的启发，能够有效增强对相关标记的关注并抑制无关标记。实验结果表明，其在多个数据集上表现优异。

本文提出了一种新颖的脉冲自注意（SSA）和脉冲变换器（Spikformer），通过自监督学习训练，实验证明其在ImageNet上的分类准确性超过80%。Spikformer结合了脉冲神经网络的生物特性和自注意力机制，展示了在多个数据集上的优越性能。新架构通过引入线性变换加速计算，提高了训练和推断速度，并减少了内存使用。

本文提出了一种新颖的脉冲自注意力（SSA）和脉冲变换器（Spikformer），通过自监督学习训练，实验证明在ImageNet上分类准确性超过80%。Spikformer架构结合了脉冲神经网络的生物特性，显著提高了能效和性能，尤其在大规模数据集上表现优异。此外，研究展示了通过线性变换加速SSA的潜力，提升了训练和推断速度，减少了内存使用。