SpikingResformer: 在脉冲神经网络中连接 ResNet 和 Vision Transformer
内容提要
本文提出了一种新颖的脉冲自注意力（SSA）和脉冲变换器（Spikformer），通过自监督学习训练，实验证明在ImageNet上分类准确性超过80%。Spikformer架构结合了脉冲神经网络的生物特性，显著提高了能效和性能，尤其在大规模数据集上表现优异。此外，研究展示了通过线性变换加速SSA的潜力，提升了训练和推断速度，减少了内存使用。
延伸解读
脉冲自注意力的创新与能效
Spikformer 的核心创新在于脉冲自注意力（SSA）机制，它使用脉冲形式的查询、键和值来混合稀疏视觉特征，并消除了 softmax 的需求。这种设计更贴近脉冲神经网络的生物特性，能够利用事件驱动的稀疏计算，从而显著提高能效。与传统的自注意力相比，SSA 在保持性能的同时降低了计算复杂度，为 SNN 在视觉任务中的应用提供了新思路。
线性变换加速与性能权衡
研究显示，将 SSA 替换为非参数化的线性变换（如傅里叶或小波变换）可以进一步加速 Spikformer。这些变换将二次时间复杂度降低为对数线性，并在神经形态数据集上实现了更高的 Top-1 准确率，在静态数据集上保持可比性能。同时，训练速度提升约 29% 至 51%，推断速度提升 61% 至 70%，内存使用减少 4% 至 26%，但需注意这是在特定数据集和任务下的结果。
ImageNet 上的突破与自监督学习
Spikformer V2 通过自监督学习（SLS）进行训练，在 ImageNet 上首次实现了超过 80% 的分类准确率，这是脉冲神经网络在大规模数据集上的重要里程碑。自监督学习使得训练更大、更深的 Spikformer 成为可能，同时保持了 SNN 的低能耗优势。这一成果表明，SNN 有潜力在复杂视觉任务中达到与人工神经网络相当的性能。
硬件友好设计与能耗优势
Spikingformer 作为一种纯变压器型脉冲神经网络，避免了非脉冲计算，使能耗降低 60.34%。这种硬件友好的设计结合残差连接，提升了图像分类性能，并首次实现了全脉冲驱动的变压器型 SNN。这些进展突出了 SNN 在能效方面的天然优势，为未来神经形态硬件上的高效部署奠定了基础。
Q&A
Spikformer的主要特点是什么？
Spikformer结合了脉冲神经网络的生物特性和自注意力机制，显著提高了能效和性能。
Spikformer在ImageNet上的分类准确性如何？
Spikformer在ImageNet上的分类准确性超过80%。
如何提高Spikformer的训练和推断速度？
通过线性变换加速脉冲自注意力（SSA），可以提升训练和推断速度。
Spikformer与传统神经网络相比有什么优势？
Spikformer在能效和性能上优于传统的脉冲神经网络，尤其在大规模数据集上表现更佳。
Spikformer的自监督学习训练有什么优势？
自监督学习训练使得Spikformer能够在更大、更深的网络上实现更好的性能。
Spikformer如何减少内存使用？
Spikformer通过优化架构设计和使用线性变换，减少了4%至26%的内存使用量。
