在开放世界中的通用智能体 [译]
内容提要
NVIDIA研究经理Jim Fan在GTC大会上讨论了机器人技术面临的难题，包括数据获取和规模扩大。他强调了多种数据来源的重要性，并指出从文本转化为视频中的动作捕捉是困难的。GEAR实验室将继续推动相关研究。
延伸解读
从AlphaGo到通用智能体：环境开放性的关键
Jim Fan指出，AlphaGo虽强但只能下围棋，而通用智能体需在开放世界中生存、导航和探索。环境复杂性决定智能体上限，因此需要像《我的世界》这样无固定目标、高自由度的环境。这解释了为何选择该游戏作为研究平台：其1.4亿玩家产生的海量数据，为训练提供了类似互联网文本的丰富资源。
MineCLIP与Voyager：奖励模型与终身学习的演进
MineCLIP通过对比学习关联视频与文本，充当语言条件化的奖励模型，使智能体能根据提示词学习技能。而Voyager利用GPT-4生成代码作为行动，结合自我反思和技能库，实现无人干预的持续探索。两者对比显示：前者需手动设定任务，后者能自主发现新技能，体现了从监督学习到终身学习的跨越。
MetaMorph与Eureka：跨形态控制与自动化奖励设计
MetaMorph将机器人形态编码为关节序列，用Transformer生成电机控制，实现跨形态泛化。Eureka则用GPT-4自动生成奖励函数，通过混合梯度架构（外层无梯度优化奖励，内层强化学习训练控制器），弥补高层推理与底层控制的鸿沟。这些工作表明，基础模型正从单一任务向多形态、自动化设计扩展。
机器人技术的核心挑战：数据、模拟到现实与规模扩展
Jim Fan强调，机器人技术面临三大挑战：数据获取（需结合互联网、模拟和真实数据）、模拟到现实的转移（依赖领域随机化提升鲁棒性）、以及规模扩展（如何从视频中提取动作信号）。他指出，与语言模型不同，机器人控制数据稀缺，且动作捕捉困难，因此GEAR实验室以使命驱动研究，探索多数据源融合与基础模型构建。
Q&A
通用智能体需要具备哪些基本特征？
通用智能体需要具备在开放世界中生存、导航和探索的能力，拥有大量的预训练知识，并能够执行多项任务。
MineDojo是什么，它的主要功能是什么？
MineDojo是一个开放式框架，旨在利用《我的世界》开发通用AI智能体，包含模拟器、数据库和模型。
Voyager是如何在《我的世界》中进行自主探索的？
Voyager是基于GPT-4的智能体，能够在无人干预的情况下连续玩游戏，探索地形、开采资源和解锁新技能。
MetaMorph项目的目标是什么？
MetaMorph项目旨在创建适用于多种机器人形态的基础模型，能够适应不同的运动特性。
Eureka方法如何帮助生成奖励函数？
Eureka是一种新方法，能够自动化奖励函数的生成，弥补高层推理与底层控制之间的鸿沟。
Isaac Sim的主要优势是什么？
Isaac Sim能够以比真实时间快1000倍的速度运行物理模拟，帮助训练计算机视觉模型。
