InfoQ
·
Meta推出V-JEPA 2，一种用于物理推理的视频世界模型
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
Meta推出V-JEPA 2，这是一种新型视频世界模型，旨在提升机器对物理环境的理解和预测能力。该模型经过两阶段训练，首先自监督预训练超过一百万小时的视频，然后在62小时的机器人数据上微调。V-JEPA 2在机器人操作任务中表现优异，成功率达65%至80%。
🎯
关键要点
- Meta推出V-JEPA 2，是一种新型视频世界模型，旨在提升机器对物理环境的理解和预测能力。
- V-JEPA 2经过两阶段训练，第一阶段使用超过一百万小时的视频进行自监督预训练，第二阶段在62小时的机器人数据上进行微调。
- 该模型在机器人操作任务中表现优异，成功率达65%至80%。
- 模型在嵌入空间进行预测，提高了计算效率，更接近人类推理方式。
- V-JEPA 2在短期和长期操作任务中应用，能够根据目标图像模拟可能的动作并选择最佳方案。
- Meta发布了三个新的基准测试，专注于视频中的物理推理，包括IntPhys 2、MVPBench和CausalVQA。
- 模型权重、代码和数据集可通过GitHub和Hugging Face获取，并已启动社区基准测试排行榜。
❓
延伸问答
V-JEPA 2模型的主要功能是什么？
V-JEPA 2模型旨在提升机器对物理环境的理解、预测和规划能力。
V-JEPA 2是如何训练的？
V-JEPA 2经过两阶段训练，首先自监督预训练超过一百万小时的视频，然后在62小时的机器人数据上微调。
V-JEPA 2在机器人操作任务中的表现如何？
V-JEPA 2在机器人操作任务中表现优异，成功率达65%至80%。
V-JEPA 2的预测机制有什么特点？
该模型在嵌入空间进行预测，提高了计算效率，更接近人类推理方式。
Meta发布了哪些新的基准测试？
Meta发布了IntPhys 2、MVPBench和CausalVQA三个新的基准测试，专注于视频中的物理推理。
V-JEPA 2的模型权重和代码在哪里可以获取？
模型权重、代码和数据集可通过GitHub和Hugging Face获取。
➡️
