SpikeVideoFormer: 一种高效的脉冲驱动视频变换器,具有汉明注意力和 $\mathcal{O}(T)$ 复杂度
原文中文,约700字,阅读约需2分钟。
📝
内容提要
本研究提出了SpikeVideoFormer,一种高效的脉冲驱动视频变换器,采用汉明注意力和线性时间复杂度。该模型在视频分类、人类姿态跟踪和语义分割等任务中表现优越,显著提升了脉冲神经网络的能效和性能。
🎯
关键要点
-
本研究提出SpikeVideoFormer,一种高效的脉冲驱动视频变换器。
-
SpikeVideoFormer采用汉明注意力和线性时间复杂度,解决了脉冲神经网络在视频视觉任务中的应用不足。
-
该模型有效将传统的真实值注意力转化为脉冲注意力,提升了能效。
-
SpikeVideoFormer在视频分类、人类姿态跟踪和语义分割等任务中表现优越,超越了现有的脉冲神经网络方法。
-
实证结果显示,该模型在效率上大幅领先于其他方法。
🏷️