构建全球通用机器人大脑的宏伟项目 [译]
内容提要
34个实验室合作解决机器人学习难题，RT-X项目成功训练出了一种机器人控制算法，结合互联网规模的图像和文本数据，使机器人具备更深层次的推理能力。RT-X项目展示了机器人学习社区的巨大潜力，为推动数据标准和新技术发展提供了协作平台。
延伸解读
跨载体控制：一个模型驾驭多种机器人
RT-X 项目最核心的突破在于验证了跨载体控制的可行性。一个在近百万次机器人测试、22 种机器人类型上训练的统一模型，无需针对特定机器人进行专门设计，就能通过相机观察识别当前控制的机器人类型，并发出相应指令。这类似于人类用同一颗大脑驾驶汽车或骑自行车。这种能力大幅提升了数据利用效率，为通用机器人大脑的实现奠定了基础。
多机器人数据与互联网知识的协同效应
RT-X 不仅整合了多机器人数据，还引入了互联网规模的图像和文本数据。视觉-语言模型提供语义推理能力（如理解“在……之间”），而多机器人数据则教会机器人物理行为（如拾取和移动）。两者结合后，谷歌机器人在空间关系推理任务上的泛化能力提高了三倍。这表明，多机器人数据不仅能获取技能，还能更好地将技能与语义知识结合，赋予机器人一定程度的常识。
开源协作与数据标准：机器人学习的未来路径
RT-X 项目由 34 个实验室共同参与，构建了迄今最大的开源真实机器人行为数据集。这种跨机构合作展示了机器人学习社区齐心协力的巨大潜力，任何单独机构都无法实现如此多样化的数据收集和全面评估。项目未来计划提供工具、模型和基础设施，支持跨不同载体的研究，并推动数据标准、可复用模型以及新技术的发展。RT-X 有望成为机器人学习领域的协作平台，加速通用机器人大脑的研发。
Q&A
RT-X项目是什么？它由哪些机构发起？
RT-X项目是一个由34个机器人实验室合作的项目，旨在汇集数据、资源和代码，实现通用机器人的梦想。它由谷歌和加州大学伯克利分校的实验室联手北美、欧洲和亚洲的其他32个机器人学实验室共同启动。
RT-X数据集包含哪些内容？规模有多大？
RT-X数据集包含近百万次机器人测试，涵盖22种类型的机器人，涉及约500种不同的技能和成千上万种不同物体的交互，是迄今为止最大的开源真实机器人行为数据集。
RT-X控制器在跨机器人类型控制上表现如何？
RT-X控制器能够通过机器人自身相机的观察识别正在控制的机器人类型，并发送相应指令。在五个实验室的对比测试中，这个统一模型在各项任务上的表现都超过了各实验室自行开发的最佳方法，平均成功率高出约50%。
RT-X如何提升机器人的推理能力？
RT-X通过整合互联网规模的图像和文本数据，利用大型视觉语言模型提取语义概念（如空间关系），并结合多机器人数据学习物理行为，从而赋予机器人一定程度的常识和推理能力，使其能理解复杂指令。
多机器人数据对谷歌机器人的泛化能力有何影响？
引入多机器人RT-X数据后，谷歌机器人在涉及空间关系推理和数学问题等挑战性任务上的泛化能力提高了三倍，表明多机器人数据不仅有助于获取物理技能，还能更好地与语义知识结合。
RT-X项目的未来计划是什么？
RT-X计划提供工具、模型和基础设施，支持跨不同载体的研究，推动数据标准、可复用模型以及新技术和算法的发展，并希望更多研究者贡献数据，共同推动单一神经网络控制多种机器人的边界。
