Robo-MUTUAL：通过单模态学习实现的机器人多模态任务规范
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了机器人在多模态任务规范中的数据稀缺问题，采用单模态指令进行学习。通过 pretraining 强化跨模态对齐能力，并使用 Collapse 和 Corrupt 操作，成功弥补了多模态表示中的差距，使机器人能够在对齐的多模态潜在空间中精确执行任务。评估表明，该框架在超过130个任务和4000次评估中表现优越，有助于缓解机器人学习中的数据约束。
RoboCodeX是一种树状多模态代码生成框架，可以将高级指令分解为以物体为中心的操作单元，提升机器人平台的通用能力。通过预训练和自我更新，增强了从概念和感知到控制命令的转换能力。实验显示，RoboCodeX在多种任务中表现优异。
