基于VLM监督、物理仿真和可重置机器人的生成设计-机器人装配的Blox-Net
原文中文，约500字，阅读约需2分钟。发表于：。本研究解决了生成式设计-机器人装配（GDfRA）中的空白，提出一种依赖自然语言提示和实际组件图像生成装配的方法。Blox-Net结合了生成视觉语言模型与现有的计算机视觉、仿真和机器人实验等技术，展示了一种新颖的设计流程，结果显示该系统在“可识别性”上达到了63.5%的准确率，且经过自动扰动重设计后，装配成功率接近100%。
近期人工智能的发展依赖于规模化，但机器人学面临数据集获取的挑战。RoboCasa是一个专注于厨房环境的大规模仿真框架，提供逼真的3D物体和多样化场景。通过生成式AI工具增强仿真，设计了100个任务系统评估，结合人类演示和自动化轨迹生成，减少人力负担。实验显示，合成数据在模仿学习和实际任务中有巨大潜力。
