QKFormer: 使用 Q-K Attention 的层次化脉冲变压器
内容提要
本文提出了一种新颖的脉冲自注意（SSA）和脉冲变换器（Spikformer），通过自监督学习训练，实验证明其在ImageNet上的分类准确性超过80%。Spikformer结合了脉冲神经网络的生物特性和自注意力机制，展示了在多个数据集上的优越性能。新架构通过引入线性变换加速计算，提高了训练和推断速度，并减少了内存使用。
延伸解读
脉冲自注意力的效率突破
文章指出，Spikformer 通过用非参数化的线性变换（如傅里叶和小波变换）替换脉冲自注意力（SSA），将二次时间复杂度降低为对数线性时间复杂度。这种替换在神经形态数据集上实现了更高的 Top-1 准确率，在静态数据集上准确率相当，同时训练速度提升约 29% 至 51%，推断速度提升 61% 至 70%，内存使用减少 4% 至 26%。这表明线性变换在保持性能的同时显著提升了效率。
SNN 在 ImageNet 上的里程碑
文章提到，通过自监督学习训练更大、更深的 Spikformer V2，脉冲神经网络（SNN）首次在 ImageNet 上达到超过 80% 的分类准确率。这一结果展示了 SNN 在大规模静态图像分类任务上的潜力，结合自注意力机制和生物特性，为后续研究提供了重要基准。
相关工作的多样探索
文章列举了多个相关研究：SparseSpikformer 通过令牌和权重修剪减少 90% 参数和 20% GFLOPs；Spikingformer 采用残差设计避免非脉冲计算，能耗降低 60.34%；LMUFormer 将 Transformer 重构为 RNN 模块，减少 53 倍参数和 65 倍 FLOPs；DualFormer 用于视频识别，通过局部-全局层次划分减少注意力计算；SG-Former 在 ImageNet-1K 上达到 84.7% Top-1 准确率。这些工作从不同角度优化了 Transform
Q&A
Spikformer的主要特点是什么？
Spikformer结合了脉冲神经网络的生物特性和自注意力机制，能够捕获稀疏视觉特征，并在多个数据集上表现出优越性能。
Spikformer在ImageNet上的分类准确性是多少？
Spikformer在ImageNet上的分类准确性超过80%。
Spikformer如何提高训练和推断速度？
Spikformer通过引入线性变换加速计算，实现了约29%至51%的训练速度提升和61%至70%的推断速度提升。
Spikformer与传统神经网络相比有什么优势？
Spikformer在静态数据集和神经形态数据集上均优于其人工神经网络对应物，且在多个数据集上展现出最先进的性能。
Spikformer的内存使用情况如何？
Spikformer在使用线性变换时减少了4%至26%的内存使用量。
脉冲自注意（SSA）模块的作用是什么？
脉冲自注意（SSA）模块利用脉冲形式的查询、键和值来捕获稀疏视觉特征，消除了softmax的需求。
