清华大学研发了全球最大的双臂机器人扩散大模型RDT 2.1,旨在通过多机器人数据集进行预训练,并在特定双臂机器人上微调,以应对双手操作中的多模态性和数据异构性挑战。该模型结合了扩散建模和Transformer架构,整合视觉与语言输入,提升机器人在复杂任务中的表现。
清华大学研发的RDT大模型被称为“机器人小脑”,能自主控制双臂机器人完成复杂任务,如调制鸡尾酒和遛机器狗。RDT通过大规模数据集预训练,具备强大的泛化能力和操作精度,成功率比现有模型高56%。其开源代码和数据集有望加速机器人研发。RDT采用多模态输入和Transformer架构,解决了机器人智能化难题,是全球最大的双臂操作扩散模型。
该研究提出了多种机器人操作学习方法,如ROSIE数据扩充、RoboAgent多任务智能体和ManiCM实时操作模型,旨在提升机器人在新场景中的性能和鲁棒性。通过引入一致性约束和多模态数据,研究在双手灵巧操控和任务完成率方面取得了显著进展。
完成下面两步后,将自动完成登录并继续当前操作。