Google视觉机器人超级汇总：从RT、RT-2到AutoRT/SARA-RT/RT-Trajectory、RT-H
内容提要
谷歌在机器人领域取得重大进展，推出了RT-2模型，具备符号理解、推理和人类识别能力。AutoRT、SARA-RT和RT-Trajectory等研究成果能够提高机器人的决策速度、环境理解和任务完成能力。
延伸解读
从RT-2到AutoRT：谷歌机器人技术演进逻辑
文章梳理了谷歌机器人研究从RT-1、RT-2到AutoRT、SARA-RT、RT-Trajectory的脉络。RT-2首次将视觉-语言模型扩展为视觉-语言-动作模型，赋予机器人符号理解、推理和人类识别能力。此后，Q-Transformer减少对高质量演示数据的依赖，Open X-Embodiment推动通用机器人训练。近期AutoRT、SARA-RT和RT-Trajectory分别针对数据收集、决策速度和任务泛化进行优化，体现了谷歌在机器人基础模型领域的持续投入。
AutoRT如何实现大规模数据收集
AutoRT通过开放词汇表对象检测器收集数据，利用VLM描述场景和物体，再由LLM生成安全可行的任务列表。机器人平台配备摄像头、机械臂和移动基座，可同时协调多达20个机器人，最多52个。在七个月的真实世界评估中，AutoRT收集了涵盖77,000个机器人试验、6,650个独特任务的数据集。这种方法无需事先了解环境布局，通过探索、任务生成和执行评分循环，显著提升了数据多样性和收集效率。
SARA-RT与RT-Trajectory：效率与泛化的突破
SARA-RT采用“向上训练”微调方法，将Transformer注意力的二次复杂度转为线性，从而降低计算需求。最佳模型SARA-RT-2比RT-2精确度高10.6%，速度快14%，且无需额外代码。RT-Trajectory则通过叠加2D轨迹草图，为模型提供低层次视觉提示，帮助泛化到新任务。在41项未见任务测试中，成功率63%，远超RT-2的29%。两者分别从效率和泛化角度推进了机器人Transformer的实用化。
Q&A
RT-2模型的主要能力是什么？
RT-2模型具备符号理解、推理和人类识别能力。
AutoRT如何提高机器人的决策速度？
AutoRT通过开放词汇表对象检测器收集数据，帮助机器人更快决策和理解环境。
SARA-RT模型的优势是什么？
SARA-RT模型在不降低质量的情况下，提高了计算能力，速度快14%，精确度高10.6%。
RT-Trajectory模型如何帮助机器人泛化到新任务？
RT-Trajectory通过解释具体的机器人动作，帮助模型理解如何完成任务，从而提高泛化能力。
Q-Transformer的作用是什么？
Q-Transformer使机器人能够依靠自主思考积累经验，减少对高质量演示数据的依赖。
Open X-Embodiment数据集的创新之处是什么？
Open X-Embodiment数据集改变了机器人模型定制的方法，创造了训练通用机器人的新思路。
