AutoRT: 机器人代理大规模编排的体现模型
内容提要
视觉语言行动模型（VLA）将机器人动作表示为文本标记，与自然语言回答统一格式，实现单一端到端训练。以RT-2为例，该模型能泛化到新物体、理解未训练指令并进行初步语义推理，还可通过思维链完成多阶段推理。多项研究进一步探索大语言模型与视觉模型结合，用于机器人规划、长视程任务和终身学习。
延伸解读
VLA模型的核心创新
视觉语言行动模型（VLA）的关键创新在于将机器人动作表示为文本标记，与自然语言回答统一格式。这使得单一端到端训练模型成为可能，避免了多模块拼接的复杂性。RT-2作为实例，展示了这种统一表示如何利用互联网规模数据提升泛化能力，并催生新兴语义推理，如选择最小物体或理解未训练指令。
RT-2的新兴能力与思维链推理
RT-2展现出多项新兴能力：泛化到新物体、解释未在训练数据中出现的命令（如将物体放在特定编号或图标上），以及初步推理（如选择最小或最大物体）。通过思维链式推理，RT-2还能进行多阶段语义推理，例如找到可作为非正式锤子的石头，或为疲劳人群选择能量饮料。这些能力源于互联网规模训练。
LLM与机器人结合的多样化探索
文章列举了多项研究，探索LLM与视觉模型结合用于机器人规划、长视程任务和终身学习。例如，利用LLM进行动态运动控制、概率过滤策略指导长视程任务、结合基础模型重构自动驾驶系统、以及基于LLM的规划器实现开放世界终身学习。这些工作共同推动了具身智能的发展。
Q&A
什么是视觉语言行动模型（VLA）？
视觉语言行动模型（VLA）是一种将机器人动作表示为文本标记，与自然语言回答统一格式，从而实现单一端到端训练的模型。
RT-2模型有哪些新兴能力？
RT-2具有对新对象的泛化能力、解释不在训练数据中的命令（如将物体放在特定编号或图标上）的能力，以及初步的语义推理能力（如选择最小或最大的物体，或离另一个物体最近的物体）。
RT-2如何实现多阶段语义推理？
RT-2通过思维链式推理进行多阶段语义推理，例如找到作为非正式锤子使用的物体（一块石头），或者适合疲劳人群的饮料类型（一种能量饮料）。
大语言模型在机器人领域有哪些应用？
大语言模型可用于机器人的动态运动控制、长视程任务规划、自动驾驶系统重构、技能教学与终身学习等。
如何利用大语言模型提升机器人的泛化能力？
通过在互联网规模的数据上训练视觉语言模型，并将其直接融入端到端的机器人控制中，可以提高泛化能力。
LLaRP方法是什么？
LLaRP是一种利用大型语言模型和强化学习技术的方法，使LLM可以作为具有推广性的策略应用于具体视觉任务中，能够忽略任务指令的复杂改写并生成新的最佳行为。
