💡
原文中文，约4800字，阅读约需12分钟。
📝
内容提要
MIT研究团队开发了LucidSim技术，通过生成模型在虚拟环境中训练机器人，提升其在真实世界中的表现。该方法结合视觉跑酷场景，增强机器人在多样化环境中的学习能力，克服传统数据收集的局限性。
🎯
关键要点
- MIT研究团队开发LucidSim技术，通过生成模型在虚拟环境中训练机器人，解决机器人学习数据稀缺问题。
- 传统数据收集方法在新场景和任务中效率低下，获取足够数据对提升机器人性能至关重要。
- 模拟环境训练机器人可以安全探索多样化环境，但现有模拟技术与现实存在差距。
- 生成模型可以填补模拟环境中的多样性和高质量场景内容的缺失，促进sim-to-real迁移。
- 研究者使用视觉跑酷场景训练机器人，核心在于精确控制场景外观与语义组成。
- 采用Prior-Assisted Domain Generation（PADG）技术，通过生成模型内部先验知识填补信息空白。
- 使用多样化的元提示生成结构化图像块，以提高生成图像的多样性。
- 研究者增强文本到图像模型，使其与模拟物理保持一致，确保图像几何准确。
- 开发Dreams In Motion（DIM）技术，通过计算光流生成时间一致的视频序列，提高渲染速度。
- 训练过程分为预训练和后训练阶段，通过on-policy数据收集提升视觉策略性能。
- LucidSim在多项任务中表现优于传统域随机化方法，能够有效迁移到现实世界。
- 研究者在Unitree Go1机器人上部署LucidSim，成功完成追逐和跨越障碍任务。
- 通过DAgger方法进行on-policy学习，显著提升策略的稳健性和性能。
- 研究者发现深度策略在训练中容易过拟合，使用有限深度的策略能提高性能。
- DIM技术加速了策略展开，权衡几何准确性与生成图像细节丰富度。
➡️
