RT-2：新模型将视觉和语言转化为行动
内容提要
Yevgen Chebotar提出的机器人变换器2（RT-2）是一种新型视觉-语言-行动（VLA）模型，结合网络和机器人数据，能够生成通用的机器人控制指令。RT-2在理解新命令和执行复杂任务方面表现出色，能够进行多阶段推理，显著提高机器人在未见环境中的表现。
延伸解读
动作标记化：RT-2如何让VLM控制机器人
RT-2的核心创新是将机器人动作表示为模型输出中的标记，类似于语言标记。具体来说，动作被描述为字符串，例如“1 128 91 241 5 101 127 217”，其中第一个数字指示是否继续或终止当前回合，后续数字表示末端执行器的位置和旋转变化以及夹爪的期望伸展。这种离散化表示与RT-1相同，但转换为字符串后，VLM的输入输出空间无需改变，从而可以直接在机器人数据上训练。这解决了机器人控制中输出连续动作的挑战，使模型能够直接预测动作。
泛化能力提升：从32%到62%的成功率
RT-2在未见环境中的泛化能力显著优于前代模型。在原始RT-1任务上，RT-2保持了性能，而在机器人未见过的场景中，成功率从RT-1的32%提升到62%。此外，在Language Table任务中，RT-2在模拟环境达到90%的成功率，超过BC-Z（72%）、RT-1（74%）和LAVA（77%）。这些提升得益于大规模网络预训练，使模型能够将视觉语言知识迁移到机器人控制中，处理新物体、新背景和新环境。
链式思维推理：实现多阶段规划与执行
受大语言模型中链式思维提示的启发，RT-2通过微调变体并增强数据，加入了“Plan”步骤，即先用自然语言描述即将采取行动的目的，然后输出“Action”和动作标记。这使得RT-2能够在单一模型中学习长期规划和低级技能，执行需要推理中间步骤的复杂指令。例如，它可以决定用石头作为临时锤子，或为疲惫的人选择能量饮料。与SayCan等依赖纯语言规划的方法不同，RT-2能够从图像和文本命令中进行视觉接地规划。
RT-2的局限与未来方向
尽管RT-2展示了视觉语言模型转变为视觉语言行动模型的潜力，但文章也指出其局限性。RT-2基于PaLI-X和PaLM-E等VLM骨干，这些模型规模庞大，可能带来计算成本。此外，RT-2的训练依赖于大量机器人数据（13个机器人17个月收集），且评估主要在特定环境（如办公室厨房）中进行。未来需要进一步研究如何将RT-2扩展到更广泛的机器人平台和任务，并探索更高效的训练方法。
Q&A
RT-2模型的主要功能是什么？
RT-2模型结合视觉和语言数据，生成通用的机器人控制指令，能够理解新命令并执行复杂任务。
RT-2在处理未见对象时的表现如何？
RT-2在处理未见对象和环境时的成功率从RT-1的32%提高到62%，显示出显著的泛化能力。
RT-2如何实现多阶段推理？
RT-2通过链式思维推理，能够进行多阶段语义推理，结合视觉和语言命令执行复杂任务。
RT-2与之前的RT-1模型相比有什么改进？
RT-2在理解新命令和执行复杂任务方面表现更好，且在未见环境中的成功率显著提高。
RT-2是如何处理机器人控制的挑战的？
RT-2通过将动作表示为模型输出中的标记，解决了机器人控制的挑战，使其能够直接预测机器人执行的动作。
RT-2在实际应用中表现如何？
RT-2在模拟环境中的成功率达到90%，在真实世界中也能有效处理未见对象，展示了良好的泛化能力。
