UCLA、MIT和UCSD团队提出Agentic Real2Sim框架,利用视觉语言代理自动将真实物体-机器人交互转换为可仿真环境,无需人工干预。该框架通过视觉重建、物理参数推断等步骤,处理刚性、可变形物体及人形运动场景,使用开源VLM后端降低成本,提升机器人策略学习的可扩展性和效率。
SimFoundry是由英伟达与多所高校合作开发的系统,利用真实视频自动生成可交互的机器人仿真环境。该系统通过提取、生成和增强三个阶段,创建数字孪生和数字表亲,提供丰富的训练数据。实验表明,SimFoundry能有效预测机器人在真实环境中的表现,提高任务成功率,减少对真实数据的依赖。
在NVIDIA GTC 2026上,空间智能公司展示了支持AI仿真的Real2Sim解决方案,重点在于利用四足机器人进行环境建模与理解,展现了面向具身智能系统的创新。
VideoMimic是一种通过单目视频学习人类动作并转化为类人机器人控制策略的方法。该系统能够重建人类及其环境,训练机器人在不同场景中自主执行动作,如上下楼梯和坐下。研究表明,VideoMimic在多样化环境中表现出良好的鲁棒性,未来将扩展应用以实现更复杂的人机交互。
完成下面两步后,将自动完成登录并继续当前操作。