HVM-1：使用接近 5000 小时类人视频数据预训练的大规模视频模型
内容提要
本文探讨了VideoMAE在自主监督视频预训练中的高效性，强调数据质量的重要性。研究提出了MVHumanNet数据集，包含4500个人的多视角行动序列，展示了在2D和3D视觉任务中的性能提升。此外，提出了一种新的人体运动生成模型，能够修复和生成完整的运动，从而提升视频行为识别性能。
延伸解读
数据质量比规模更关键
文章通过VideoMAE实验表明，在自监督视频预训练中，数据质量比单纯扩大规模更重要。适当的视频掩码策略即可达到良好表现，这提示研究者在构建预训练数据集时，应优先关注数据筛选与标注质量，而非盲目追求数据量。
MVHumanNet的多视角价值
MVHumanNet包含4500个人的多视角行动序列，覆盖9000套日常服装、6万运动序列和6.45亿帧注释。这种多视角、细粒度的3D人体数据为2D和3D视觉任务提供了丰富监督信号，实验显示其能有效提升动作识别等任务的性能。
运动生成模型的通用性
文章提出的人体运动生成模型利用全局与局部潜空间进行粗细粒度建模，能独立于特定任务学习复杂运动。该模型可修复损坏的动画，从不完整观察中生成完整运动，并辅助关键帧动画，展示了在视频行为识别中的潜在应用。
Q&A
VideoMAE在视频预训练中有什么优势？
VideoMAE通过适当的视频屏蔽技术，展示了在自主监督视频预训练中的高效性，强调了数据质量的重要性。
MVHumanNet数据集包含哪些内容？
MVHumanNet数据集包含4500个人的多视角行动序列、9000个日常服装、60000个运动序列和6.45亿帧的详细注释。
新的人体运动生成模型有什么功能？
该模型能够修复损坏的人体动画，并从不完整的观察中生成完整的运动，提升视频行为识别性能。
如何通过MVHumanNet提升视觉任务的性能？
通过使用MVHumanNet数据集进行实验，展示了在多个2D和3D视觉任务中的性能提升。
自监督学习在视频模型中的应用是什么？
自监督学习通过扩大数据规模、模型大小和图像分辨率，实现了人类级的视觉目标识别能力。
本文提出的运动生成方法MT-VAE有什么特点？
MT-VAE利用动作序列之间的转换关系，学习运动方式的特征嵌入和特征变换，生成多样性且逼真的运动。
