稀疏 Spikformer:脉冲变换器的令牌和权重剪枝的协同设计框架
原文中文,约600字,阅读约需2分钟。
📝
内容提要
Spikformer是一种将Transformer架构应用于脉冲神经网络(SNNs)设计的方法,通过使用脉冲自注意力(SSA)模块来混合稀疏视觉特征,并通过将SSA替换为非参数化的线性变换(LT)来加速。实验结果表明,具有LT的Spikformer在神经形态学数据集上具有更高的准确率,并且训练和推断速度更快,内存使用量更少。
🏷️