稀疏 Spikformer：脉冲变换器的令牌和权重剪枝的协同设计框架

BriefGPT - AI 论文速递 · 2023-11-15T00:00:00Z

Spikformer是一种将Transformer架构应用于脉冲神经网络（SNNs）设计的方法，通过使用脉冲自注意力（SSA）模块来混合稀疏视觉特征，并通过将SSA替换为非参数化的线性变换（LT）来加速。实验结果表明，具有LT的Spikformer在神经形态学数据集上具有更高的准确率，并且训练和推断速度更快，内存使用量更少。