EgoCVR：细粒度复合视频检索的自我中心基准
内容提要
本文介绍了EgoInstructor模型，旨在通过自动检索第三人称视频来增强第一人称视频的字幕生成。研究表明，该模型在多个基准测试中表现优越。此外，提出了专为自我中心视频设计的EgoVideo基础模型，展示了其在多样化任务中的有效性。同时，介绍了EgoHumans数据集，旨在改进3D姿势估计和跟踪算法，推动第一人称感知的研究。
延伸解读
跨视角检索如何提升第一人称字幕
EgoInstructor 的核心思路是利用第三人称视频作为参考来增强第一人称视频的字幕生成。它通过自动配对第一人称和第三人称数据集训练跨视角检索模块，并采用 EgoExoNCE 损失函数对齐共享文本特征。实验表明，该模块在七个基准上表现优越，且借助第三人称参考，字幕生成有显著改进。这提示跨视角信息融合是解决第一人称视角局限的有效途径。
EgoVideo 基础模型的多任务适应性
EgoVideo 是专为自我中心视频设计的基础模型，基于视频语言双塔模型，并利用精心组织的自我中心视频数据。在 CVPR 2024 的 EgoVis 挑战中，它被适应到 Ego4D 的五个赛道和 EPIC-Kitchens 的三个赛道，展示了在不同自我中心视频分析场景中的多功能性和有效性。这表明针对领域特点设计的基础模型能通过适应支持多样化任务。
EgoHumans 数据集推动第一人称3D感知
EgoHumans 数据集旨在改进以往单人或仅限室内的自我中心人体3D姿势估计和跟踪算法。它利用可穿戴相机配备的眼镜的多视角构建全面的自我中心多人体数据集，并采用多流变压器架构和显式3D空间推理来估计和跟踪人体姿态。这为第一人称感知研究提供了更复杂场景下的基准，有助于推动相关算法发展。
Ego4D 数据集的规模与伦理标准
Ego4D 提供了来自全球74个地点和9个国家的931个独特摄像头佩戴者的3,670小时日常活动视频。采集过程严格遵守隐私和伦理标准，并具有鲁棒的去识别程序。部分视频还配有音频、3D网格、注视点、立体声和同步多摄像头视频，为自我中心视觉体验提供了新的基准挑战。公开分享这一海量数据集旨在推动第一人称感知的前沿。
Q&A
EgoInstructor模型的主要功能是什么？
EgoInstructor模型能够自动检索语义相关的第三人称视频，以增强第一人称视频的字幕生成。
EgoVideo基础模型的设计目的是什么？
EgoVideo基础模型专为自我中心视频设计，旨在展示其在多样化任务中的有效性。
EgoHumans数据集的主要用途是什么？
EgoHumans数据集旨在改进3D姿势估计和跟踪算法，推动第一人称感知的研究。
EgoInstructor在基准测试中的表现如何？
EgoInstructor通过对不同规模的数据集进行自动配对，在七个基准上表现出优越性能。
Ego4D数据集的特点是什么？
Ego4D数据集提供了来自全球多个地点的自我中心视频，严格遵守隐私和伦理标准。
如何利用EgoInstructor模型改善视频字幕生成？
EgoInstructor模型通过使用第三人称视频作为参考，显著改善第一人称视频的字幕生成。
