该论文介绍了一种名为 Spikformer 的新型神经网络架构，将自注意力能力和脉冲神经网络相结合，使用脉冲形式的查询、键和值来混合稀疏视觉特征，展示了强大的性能和效率。该论文还证明了 Spikformer 架构可以通过将脉冲自注意力替换为非参数化的线性变换来加速，并在神经形态学数据集上实现了更高的准确率和更快的训练速度。