目标中心动作识别的同时检测和交互推理
内容提要
本文提出了一种面向视频中长期动作预测的物体中心表示，利用视觉-语言预训练模型提取特定表示。通过双重注意力网络识别人-物交互，并在多个基准测试中验证了其有效性。该模型实现了动作的同时识别和弱空间时间定位，展现了良好的性能。
延伸解读
物体中心表示与视觉-语言预训练的结合
文章提出利用视觉-语言预训练模型构建物体中心视频表示，并通过“物体提示”提取任务特定的表示。这种方法将预训练模型的通用知识迁移到长期动作预测任务中，为物体中心表示学习提供了新思路。读者可关注其如何平衡通用特征与任务特定需求。
双重注意力网络实现同时识别与交互推理
基于Transformer的双重注意力网络模型能够同时识别人类与物体之间的动作，实现物体及动作的同时识别。该模型在Something-Something数据集上表现良好，并支持弱空间时间定位和可供性分割，可识别物体不同部分间的交互。这展示了模型在细粒度交互理解上的潜力。
多基准评估验证方法有效性
文章在Ego4D、50Salads和EGTEA Gaze+等基准测试上进行了广泛评估，定量和定性结果证实了所提方法的有效性。这些基准涵盖不同场景，表明方法具有一定的泛化能力。读者可注意其在不同数据集上的表现差异，以评估实际适用性。
Q&A
什么是物体中心表示？
物体中心表示是面向视频中长期动作预测的一种表示方法，通过视觉-语言预训练模型构建，提取任务特定的物体中心信息。
该模型如何识别人-物交互？
该模型采用基于Transformer的神经架构，通过双重注意力网络识别和预测人-物交互。
在什么基准测试中验证了该模型的有效性？
该模型在Ego4D、50Salads和EGTEA Gaze+基准测试中进行了广泛评估，验证了其有效性。
该模型的性能如何？
模型在Something-Something数据集上展现了良好的性能，并能够进行弱空间时间定位和可供性分割。
双重注意力网络模型的优势是什么？
双重注意力网络模型能够同时识别人类与物体之间的动作，实现物体及动作的同时识别。
该研究的主要贡献是什么？
该研究提出了一种新的物体中心表示方法和双重注意力网络，推动了视频中长期动作预测的研究进展。
