MetaWorld——分层世界模型:融合 VLM 的语义推理能力、预测的未来动态环境、模仿学习的先验,及基于模型RL的对动态环境的在线自适应

📝

内容提要

本文提出MetaWorld框架,通过分层世界模型解决人形机器人语义控制与物理执行的鸿沟问题。框架包含:1)语义规划层,利用VLM将任务描述映射为专家策略权重;2)物理执行层,采用TD-MPC2算法进行在线优化。创新性地引入动态专家选择机制,在保持物理可行性的同时实现环境自适应。实验表明,该框架有效弥合了高层语义推理与低层控制之间的差距,显著提升复杂任务的执行能力。

🏷️

标签

➡️

继续阅读