基于 Transformer 的高时序维度解码的视频显著性预测
内容提要
该文综述了视频显著性检测与时空预测的多种深度学习模型，包括多级特征三维卷积编码器-解码器、统一RGB/RGB-D检测的Transformer架构VST、时空注意力预测模型、TASED-Net、VST++、局部时空分离注意力Transformer、半监督分割框架HST、三元注意力变换器及层次化时空金字塔STPT，这些模型在精度与效率上均优于现有方法。
延伸解读
从单帧到时空：视频显著性模型的演进脉络
文章梳理的模型跨越2016至2023年，呈现从双流网络、3D卷积到Transformer的清晰技术路线。早期TASED-Net依赖有限过去帧的3D卷积，侧重运动物体；后期VST、VST++等转向纯序列建模，以更低计算成本统一RGB与RGB-D任务。读者可借此理解：视频显著性正从局部时空特征提取，走向长程依赖与多模态统一建模。
效率与精度并重：Transformer 变体的设计取舍
文中多个模型强调“更低计算成本”与“更高精度”的平衡。例如VST++以更低成本超越现有方法，STPT通过局部窗口注意力减少冗余计算，局部时空分离注意力则降低全自回归预测的复杂度。这些设计表明，视频显著性研究不再单纯堆叠算力，而是通过注意力机制的结构化改进，在实时性与准确性之间寻找更优解。
跨任务迁移：时空预测与显著性检测的相互启发
文章不仅涉及显著性检测，还纳入视频未来帧预测、半监督分割和动作检测等任务。三元注意力变换器用帧间动态与帧内静态特征替代循环单元，HST用Swin Transformer重构对象蒙版，STPT面向长视频动作定位。这些工作共享时空建模与注意力机制的核心思路，说明显著性预测的技术积累可迁移至更广泛的视频理解场景。
Q&A
视频显著性预测有哪些基于Transformer的新模型？
文章提到了多个基于Transformer的视频显著性预测模型，包括VST（纯序列转序列架构，统一RGB和RGB-D显著对象检测）、VST++（更低计算成本实现更好性能）、基于局部时空分离注意力的Transformer块（用于视频未来帧预测）、三元注意力变换器（捕捉帧间动态与帧内静态特征）以及STPT（层次化时空金字塔Transformer，用于长视频动作检测）。
VST模型有什么特点？
VST是一种基于Transformer的纯序列转序列架构的视觉显著性检测器，通过建模长程依赖关系，实现了对RGB和RGB-D显著对象检测的统一建模。实验表明该方法在常用数据集上表现出色，提供了SOD领域的新视角和transformer-based dense prediction模型的新范式。
TASED-Net在视频显著性检测中有什么优势？
TASED-Net是一种用于视频显著性检测的三维全卷积神经网络，采用编码器-解码器结构，能在考虑有限数量过去帧的情况下有效预测与运动目标相关的显著帧。大量实验表明它明显优于之前的方法，特别擅长关注显著的运动物体。
三元注意力变换器是如何工作的？
三元注意力变换器用Triplet Attention Module取代传统循环单元，交替运用时序、空间和通道级别的注意力：时序标记包含帧间抽象表示以捕捉时序依赖性；空间和通道注意力结合进行细粒度交互以改进帧内表示。这样能学习更复杂的短程和长程时空依赖关系，在移动物体轨迹预测、交通流预测等场景达到最先进水平。
STPT模型在视频动作检测中有什么改进？
STPT是一种层次化时空金字塔Transformer模型，通过采用局部窗口注意力和全局注意力模块，实现了对长视频片段中动作的高效检测和定位。与目前流行的基于Transformer的模型相比，它提高了精度并减少了冗余计算。
HST框架在视频对象分割中表现如何？
HST是一个半监督视频对象分割框架，使用Swin Transformer和Video Swin Transformer提取图像和视频特征，并使用内存读取操作产生层次特征以精确重构对象蒙版。该框架在处理复杂场景下具有有效性和鲁棒性，尤其是HST-B在多个流行基准测试中优于现有技术。
