基于张量分解的脉冲神经网络注意力模块
原文约600字，阅读约需2分钟。发表于：。使用张量分解和线性投影的脉冲张量与注意力图融合模块提出了一种新的脉冲神经网络（SNN）模型，该模型在分类任务上达到了最先进的性能，并超过了基于 Transformer 和 CNN 的 SNN 模型。
该论文介绍了一种名为 Spikformer 的新型神经网络架构，将自注意力能力和脉冲神经网络相结合，使用脉冲形式的查询、键和值来混合稀疏视觉特征，展示了强大的性能和效率。该论文还证明了 Spikformer 架构可以通过将脉冲自注意力替换为非参数化的线性变换来加速，并在神经形态学数据集上实现了更高的准确率和更快的训练速度。
