V-JEPA：迈向 Yann LeCun 先进机器智能（AMI）愿景的新里程碑 [译]
内容提要
V-JEPA是一种非生成式模型，通过预测视频的缺失或遮蔽部分来进行学习，提高训练和样本效率。它能够集中精力理解视频中的高层次概念信息，适应多种不同的任务。未来可能应用于具身AI研究和AR眼镜项目。
延伸解读
非生成式预测：效率提升的关键
V-JEPA 与生成式模型不同，它不尝试重建缺失像素，而是在抽象表示空间中进行预测。这种设计让模型能够忽略不可预测的细节，专注于高层次概念，从而在训练和样本效率上实现 1.5 至 6 倍的提升。对于读者而言，这意味着模型可以更高效地利用未标记视频数据，减少对大量标注样本的依赖，为视频理解任务提供了一种更经济的预训练方案。
冻结评估：快速适应新任务的实用路径
V-JEPA 是首个在冻结评估中表现良好的视频模型。冻结评估意味着预训练后编码器和预测器参数不再调整，仅需添加轻量级专用层即可适应新任务。在 Kinetics-400 和 Something-Something-v2 数据集上，使用少量标记样本时，V-JEPA 在标签效率上优于其他模型。这提示读者，该架构可能降低模型部署和迁移的成本，尤其适合标注数据稀缺的场景。
掩蔽策略：迫使模型理解场景
V-JEPA 采用在空间和时间上同时掩蔽视频大部分内容的策略。如果仅随机掩蔽小片段或仅掩蔽单帧，任务过于简单，模型难以学到复杂知识。通过迫使模型预测大范围缺失的抽象表示，它必须深入理解场景的时空结构。这种设计思路表明，自监督学习任务的设计难度直接影响模型学到的知识深度，对后续研究有借鉴意义。
未来方向：从感知到规划与多模态
V-JEPA 目前主要解决感知问题，其预测器可视为初步的物理世界模型。团队计划扩展其在长时间范围内的预测和规划能力，并探索将声音纳入分析框架。此外，V-JEPA 有望助力具身 AI 研究和 AR 眼镜的上下文感知助手。模型以 CC BY-NC 许可证发布，强调开放科学。读者可关注这些方向，但需注意当前模型仍限于短时动作识别，实际应用尚在探索中。
Q&A
V-JEPA 是什么？它和 Yann LeCun 的 AMI 愿景有什么关系？
V-JEPA 是一种非生成式模型，通过预测视频的缺失或遮蔽部分来进行学习，旨在让机器更实际地理解世界，实现更广泛的推理与规划能力。它是 Yann LeCun 提出的先进机器智能（AMI）愿景的新里程碑，该愿景旨在打造能像人类一样学习、通过构建内部世界模型来适应和有效规划以完成复杂任务的机器。
V-JEPA 如何提高训练和样本效率？
V-JEPA 在抽象表示空间内预测视频的缺失或遮蔽部分，而非直接填补像素，因此能忽略不可预测的信息，在训练和样本效率上实现了 1.5 至 6 倍的提升。它采用自监督学习，完全依靠未标记数据进行预训练，之后仅需少量标签即可适应特定任务。
V-JEPA 的掩蔽策略有什么特别之处？
V-JEPA 采用同时在空间和时间上遮盖视频某部分的方法，而不是仅随机遮蔽小片段或单一瞬间。这种策略迫使模型学习并深入理解场景，因为任务足够困难，模型必须掌握关于世界运作方式的复杂知识。
什么是冻结评估？V-JEPA 在冻结评估中表现如何？
冻结评估指完成自监督预训练后，不再调整编码器和预测器，仅添加轻量级专用层或小网络进行训练来适应新任务。V-JEPA 是首个在冻结评估中表现良好的视频模型，在少量样本的冻结评估中，其在 Kinetics-400 和 Something-Something-v2 数据集上的标签效率优于其他模型。
V-JEPA 能适应哪些任务？它如何做到无需全面调整参数？
V-JEPA 能适应多种任务，如动作分类、识别复杂的对象互动、活动的具体位置、图像分类、动作识别和时间空间动作检测等。它通过一次预训练（无需标注数据）即可适应多种任务，无需全面调整参数，只需添加轻量级层即可快速适应新任务。
V-JEPA 的未来应用方向有哪些？
V-JEPA 的未来应用方向包括：将声音纳入分析框架以实现更全面的视频理解；扩展在更长时间范围内进行预测和规划的能力；利用其预测器或世界模型进行规划或连续决策；助力具身 AI 研究以及为 AR 眼镜打造上下文感知 AI 助手项目。
