TAFormer：面向航拍场景中视频和运动联合预测的统一目标感知 Transformer
内容提要
本文介绍了多种基于Transformer的模型，如AgentFormer、VT-Former和AerialFormer，应用于多智能体行为预测、车辆轨迹预测和航空影像分割等领域。这些模型在各自的数据集上表现出色，展示了Transformer在不同任务中的广泛适用性和鲁棒性。
延伸解读
Transformer 在视觉任务中的多领域渗透
文章列举的模型覆盖了行为预测、轨迹预测、航空影像分割、动作识别、多目标追踪、视频文本定位、3D 多目标跟踪、对象检测和动作分割等多个视觉任务。这表明 Transformer 架构已从自然语言处理成功扩展到计算机视觉的各个子领域，并成为许多任务的首选方案。
航拍场景下的技术挑战与应对
航拍场景中的视频和运动联合预测面临目标尺度变化大、背景复杂、多目标交互等挑战。文章提到的 AerialFormer 融合 Transformer 和轻量级 MD-CNNs 处理航空影像分割，VT-Former 结合图注意力模块进行车辆轨迹预测，这些方法通过引入特定模块来适应航拍数据的特性。
性能提升与基准测试表现
多个模型在各自基准数据集上取得了最先进的结果，例如 ActionFormer 在 THUMOS14 上达到 71.0% mAP，PTSEFormer 在 ImageNet VID 上达到 88.1% mAP，GloTSFormer 在 MOTA 指标上提升 4.6 个百分点。这些数据表明 Transformer 模型在精度上具有显著优势，但需注意不同任务的评估指标和数据集差异。
效率与适用性的平衡
文章提到 VT-Former 在嵌入式板上的效率评估，以及 ASFormer 通过局部连接归纳先验等设计解决动作分割任务中的问题。这反映了 Transformer 模型在追求性能的同时，也开始关注计算效率和实际部署的可行性，但具体效率数据未在文中详细给出。
Q&A
AgentFormer 模型的主要功能是什么？
AgentFormer 模型能够联合模拟时间和社交两个维度，用于多智能体行为预测。
VT-Former 在车辆轨迹预测方面的表现如何？
VT-Former 在多个基准数据集上表现出色，具有最先进的性能和良好的普适性与鲁棒性。
AerialFormer 是如何应用于航空影像分割的？
AerialFormer 融合了 Transformers 和轻量级 MD-CNNs，应用于航空影像分割，并在多个数据集上表现优于之前的方法。
TrackFormer 的工作原理是什么？
TrackFormer 是一种端到端可训练的多目标追踪方法，利用注意力机制实现数据关联。
GloTSFormer 在视频文本定位方面的优势是什么？
GloTSFormer 通过高斯 Wasserstein 距离指导视频文本定位，显著提高了 MOTA 指标。
ASFormer 模型解决了哪些问题？
ASFormer 解决了动作分割任务中的问题，通过局部连接归纳先验和精心设计的解码器来提升性能。
