具身智能之RT2
💡
原文中文，约3700字，阅读约需9分钟。
📝
内容提要
RT-2模型将预训练的视觉-语言大模型集成到机器人的低级控制中，以提高泛化能力和语义推理。RT-2具备多模态推理能力，优于基线模型。然而，由于数据集限制，RT-2无法学习新的行为。
🎯
关键要点
-
RT-2模型将预训练的视觉-语言大模型集成到机器人的低级控制中，以提高泛化能力和语义推理。
-
RT1模型的限制在于无法从互联网规模的丰富语义知识中受益，导致泛化性能差。
-
RT-2结合了高层规划的视觉-语言模型和大规模网络数据，通过联合微调实现视觉-语言-动作模型。
-
RT-2通过进一步训练视觉-语言模型，使其能够直接控制机器人的动作，实现闭环控制。
-
训练过程中，RT-2将动作token与文本token对齐，以便生成可执行的动作。
-
实验表明，RT-2在新对象、背景和环境的泛化能力上优于基线模型，但无法学习新的行为。
-
RT-2的参数量较大，导致无法实时推理，未来工作需关注模型量化和蒸馏以提高推理速度。
➡️
