极道
·
大模型+机器人：人形运动作为下一个Token预测
💡
原文中文，约800字，阅读约需2分钟。
📝
内容提要
通过27小时行走数据训练全尺寸仿人机器人，在旧金山自由行走。研究将仿人控制视为标记预测问题，通过传感器运动轨迹的自回归预测训练模型。结果表明，模型能在现实世界中泛化，并执行未见过的指令。研究为学习真实世界控制任务提供了前景广阔的道路。
🎯
关键要点
- 仅使用27小时的行走数据训练全尺寸仿人机器人。
- 仿人控制视为下一个标记预测问题，类似于语言中的下一个单词预测。
- 模型通过传感器运动轨迹的自回归预测训练而成。
- 采用模态对齐的方式进行预测，处理多模态数据。
- 模型在模拟轨迹上训练，使用多种数据来源。
- 模型能够让仿人机器人在旧金山随意行走，并能执行未见过的指令。
- 研究为学习真实世界控制任务提供了前景广阔的道路。
➡️
