视觉真实之外：清华WorldArena全新评测体系揭示具身世界模型的能力鸿沟
💡
原文中文，约3000字，阅读约需8分钟。
📝
内容提要
生成式AI在视频生成方面取得进展，但视觉真实并不等同于功能可靠。WorldArena评测体系首次将视频生成质量与具身任务功能性结合，提出六个维度评估生成视频的真实性，强调物理遵循性和可控性。研究表明，视觉生成能力与任务执行能力之间存在显著差距，需重视功能能力验证，以推动具身智能的发展。
🎯
关键要点
- 生成式AI在视频生成方面取得进展，但视觉真实并不等同于功能可靠。
- WorldArena评测体系首次将视频生成质量与具身任务功能性结合，提出六个维度评估生成视频的真实性。
- 六个维度包括视觉质量、动作质量、内容一致性、物理遵循性、3D准确性和可控性。
- 视觉质量关注视频的清晰度和美学评分，动作质量评估物体运动的连贯性。
- 内容一致性强调物体在时间和空间上的稳定性，物理遵循性评估运动轨迹的合理性。
- 3D准确性考察模型对空间结构的理解，可控性检验模型对指令的响应能力。
- WorldArena将世界模型置于真实任务执行场景中，评估其作为数据生成引擎、策略评估器和行动规划器的能力。
- 研究表明，视觉生成能力与任务执行能力之间存在显著差距，需重视功能能力验证。
- 引入EWMScore作为综合评分指标，揭示视觉生成与具身任务性能之间的鸿沟。
- WorldArena的意义在于改变研究者关注的焦点，从视觉生成转向功能能力验证，推动具身智能的发展。
❓
延伸问答
WorldArena评测体系的主要目标是什么？
WorldArena评测体系旨在将视频生成质量与具身任务功能性结合，评估生成视频的真实性和实用性。
WorldArena评测体系提出了哪些评估维度？
评估维度包括视觉质量、动作质量、内容一致性、物理遵循性、3D准确性和可控性。
视觉真实与功能可靠之间的关系是什么？
视觉真实并不等同于功能可靠，许多生成模型在视觉上表现优秀，但在实际任务执行中存在显著差距。
WorldArena如何评估生成视频的物理遵循性？
物理遵循性评估视频中机械臂与物体的交互是否合理，运动轨迹是否符合基本动力学常识。
EWMScore在WorldArena中的作用是什么？
EWMScore是一个综合评分指标，用于整合多维度的视频评测结果，揭示视觉生成与具身任务性能之间的鸿沟。
WorldArena对具身智能发展的意义是什么？
WorldArena改变了研究者的关注焦点，从视觉生成转向功能能力验证，推动具身智能的实用化发展。
➡️
