量子位
·
LeCun世界模型出2代了！62小时搞定机器人训练，开启物理推理新时代
💡
原文中文，约3100字，阅读约需8分钟。
📝
内容提要
Meta发布的V-JEPA 2世界模型能够在62小时内训练机器人，使其理解物理世界并进行预测与规划。该模型通过自监督学习，利用大量视频数据提升机器人控制能力，标志着机器人技术的新纪元。
🎯
关键要点
- Meta发布V-JEPA 2世界模型，能够在62小时内训练机器人理解物理世界。
- V-JEPA 2通过自监督学习，利用大量视频数据提升机器人控制能力。
- 世界模型具备理解、预测和规划能力，能够对真实物理世界做出反应。
- V-JEPA 2是首个基于视频训练的世界模型，提升了动作预测和物理世界建模能力。
- 模型训练采用超过100万小时的互联网视频和图像数据，证明纯视觉自监督学习的有效性。
- V-JEPA 2在运动理解和人类动作预测方面表现优异，超越以往模型。
- Meta发布三个新的基准测试，评估模型理解和推理物理世界的能力。
- 模型在物理理解方面与人类表现存在明显差距，需进一步改进。
- Meta计划发展分层次JEPA模型，能够在多个时间和空间尺度上学习和推理。
- 未来将探索多模态JEPA模型，使用多种感官进行预测。
❓
延伸问答
V-JEPA 2模型的主要功能是什么？
V-JEPA 2模型能够理解、预测和规划物理世界的变化。
V-JEPA 2是如何进行训练的？
V-JEPA 2采用自监督学习，利用超过100万小时的互联网视频和图像数据进行预训练。
V-JEPA 2在运动理解方面的表现如何？
V-JEPA 2在运动理解方面取得了77.3的top-1准确率，表现优异。
Meta发布了哪些新的基准测试？
Meta发布了IntPhys 2、Minimal Video Pairs (MVPBench)和CausalVQA三个新的基准测试。
V-JEPA 2与人类在物理理解方面的差距如何？
V-JEPA 2与人类在物理理解的准确率上存在明显差距，需进一步改进。
未来Meta对V-JEPA模型有什么计划？
Meta计划发展分层次JEPA模型和多模态JEPA模型，以增强学习和推理能力。
➡️
