背包里装满技能：多角度任务视角下的自我中心视频理解
内容提要
本文探讨了穿戴式摄像头在视频理解中的应用，提出了EgoTask Translation（EgoT2）和EgoInstructor模型，通过多任务学习和跨视角检索提升第一人称视频的理解和字幕生成性能。同时介绍了Ego-Exo4D数据集，包含多模态视频和基准任务，旨在推动技能活动的研究。
延伸解读
多任务关联性如何被统一建模
文章指出，第一人称视角下的手-物体操纵、空间导航和人-人交互等任务并非孤立，而是相互关联。EgoTask Translation（EgoT2）通过多任务学习的翻转设计，利用辅助任务特征来提升主任务性能，在Ego4D挑战中优于传统迁移范式。这提示读者，在自我中心视频理解中，考虑任务间的关联性可能比单独优化每个任务更有效。
跨视角检索如何提升字幕生成
EgoInstructor模型自动检索语义相关的第三人称指导视频，以增强第一人称视频的字幕生成。它通过EgoExoNCE损失函数对齐第一人称和第三人称视频特征与共享文本特征，在七个基准上表现优越。这表明，利用外部视角视频作为参考，可以弥补第一人称视角的局限，为字幕生成提供更丰富的语义信息。
Ego-Exo4D数据集的多模态价值
Ego-Exo4D数据集包含同步捕捉的自我中心和外部视角视频，覆盖13个城市、800多名参与者的131个场景，总时长1,422小时。其多模态特性包括多通道音频、眼动数据、3D点云、相机姿态、IMU数据以及专家评论。这些资源支持细粒度活动理解、熟练度估计等基准任务，为技能活动研究提供了前所未有的丰富数据。
从历史脉络看技术演进
文章提及了从2017年到2024年的多项研究，如利用注意力循环网络描述自我中心影像序列、使用卷积神经网络进行自我视角行为识别、通过自监督对比学习提升视觉学习稳健性，以及利用第三人称视频预训练自我中心模型。这些工作逐步推动了第一人称视频理解的发展，而EgoT2和EgoInstructor等最新成果则代表了多任务学习和跨视角知识传递的前沿方向。
Q&A
EgoTask Translation（EgoT2）模型的主要功能是什么？
EgoTask Translation（EgoT2）模型通过多任务学习的翻转设计，优化多个模型以提升视频理解任务的性能。
EgoInstructor模型如何增强第一人称视频的字幕生成？
EgoInstructor模型能够自动检索语义相关的第三人称指导视频，从而增强第一人称视频的字幕生成。
Ego-Exo4D数据集的特点是什么？
Ego-Exo4D数据集具有多模态特性，包括多通道音频、眼动数据和3D点云，支持细粒度活动理解和熟练度估计等任务。
EgoTaskQA基准的目的是什么？
EgoTaskQA基准旨在通过问题回答对现实生活中的个人行为视频进行对话式任务理解，评估视频推理模型。
Ego4D挑战中EgoT2模型的表现如何？
在Ego4D视频挑战中，EgoT2模型的实验结果优于现有的transfer范式，并在四项挑战中取得最佳成绩。
Ego-Exo4D数据集的录制时间和参与者情况如何？
Ego-Exo4D数据集总共获得了1,422小时的视频，涉及来自全球13个城市的800多名参与者。
