TAFormer：面向航拍场景中视频和运动联合预测的统一目标感知 Transformer

无人机技术的不断进步使得使用无人机进行高空遥感成为现代低空遥感的主导趋势。随着航拍视频数据的激增，对于感兴趣目标未来场景和运动状态的准确预测尤为重要，尤其在交通管理和灾难响应等应用领域。现有的视频预测方法仅关注预测未来场景，忽视了目标运动状态的显式建模，这对于航拍视频解释来说至关重要。针对该问题，我们引入了一项新颖的任务，命名为目标感知航拍视频预测，旨在同时预测未来场景和目标的运动状态。此外，我们设计了一个专门针对该任务的模型，名为 TAFormer，它提供了一个统一的建模方法，可以同时建模视频和目标的运动状态。具体而言，我们引入了时空关注机制（STA），将视频动态学习分解为空间静态关注和时间动态关注，有效建模场景外观和运动。另外，我们设计了一种信息共享机制（ISM），通过两组信使令牌促进信息交互，优雅地统一了对视频和目标运动的建模。另外，为了减轻模糊预测中目标识别的困难，我们引入了目标敏感高斯损失（TSGL），增强了模型对目标位置和内容的敏感性。在 UAV123VP 和 VisDroneVP 等数据集上进行了大量实验证明了 TAFormer 在目标感知视频预测方面的卓越性能，展示了其适应航拍视频解释的额外要求。