Ψ0——人形全身VLA：先用800h人类自视角视频数据和30h的真实机器人交互数据预训练VLM，再后训练MM-DiT，最后用AMO做下肢RL跟踪
内容提要
本文介绍了Ψ0模型，该模型结合大规模人类视频数据与真实机器人数据，训练出一种用于类人机器人灵巧运动的视觉-语言动作模型，能够有效提取运动先验，实现复杂的全身控制。
关键要点
-
Ψ0模型结合大规模人类视频数据与真实机器人数据，训练出视觉-语言动作模型。
-
模型在大规模第一视角人类视频上进行自回归预训练，以获得良好的视觉-动作表征。
-
在高质量人形机器人数据上后训练动作专家，实现精确的机器人关节控制。
-
Ψ0模型采用多阶段训练范式，每个阶段设定不同的学习目标。
-
模型能够有效提取运动先验，实现复杂的全身控制。
-
当前类人机器人在灵巧行走-操作方面仍面临挑战，Ψ0模型旨在解决这一问题。
-
Ψ0模型的架构包括视觉-语言骨干网络和多模态扩散Transformer动作专家。
-
模型通过RL控制策略实现下肢和躯干关节的控制。
-
Ψ0模型的设计能够高效融合动作和视觉-语言特征，提升全身控制能力。
延伸解读
Ψ0模型的创新训练方法
Ψ0模型采用多阶段训练范式，首先在大规模人类视频数据上进行自回归预训练，以获取视觉-动作表征。随后，利用真实机器人数据进行后训练，专注于关节控制。这种方法有效解决了人类与机器人在动作表现上的差异，提升了模型的泛化能力和鲁棒性。
类人机器人面临的挑战
尽管Ψ0模型在灵巧运动控制方面取得了进展，类人机器人在复杂的行走-操作任务中仍面临挑战。当前的研究主要集中在行走与导航，而对灵巧操作的关注相对较少。因此，Ψ0模型的提出为解决这一问题提供了新的思路，尤其是在高自由度控制和长时间任务执行方面。
数据采集的成本与效率
人类第一视角视频为类人机器人训练提供了一种可扩展的替代方案，尤其是在数据采集成本高昂的情况下。相比于传统的遥操作数据，第一视角视频能够捕获丰富的运动模式，降低了数据采集的难度和成本。这一创新为未来的机器人训练提供了新的方向。
延伸问答
Ψ0模型的主要功能是什么？
Ψ0模型用于类人机器人灵巧运动的视觉-语言动作模型，能够有效提取运动先验，实现复杂的全身控制。
Ψ0模型是如何训练的？
Ψ0模型首先在大规模人类视频数据上进行自回归预训练，然后在真实机器人数据上后训练动作专家，最后通过RL控制策略实现关节控制。
Ψ0模型解决了哪些类人机器人面临的挑战？
Ψ0模型旨在解决类人机器人在灵巧行走和操作方面的挑战，提升其全身控制能力。
Ψ0模型的架构包含哪些主要组件？
Ψ0模型的架构包括视觉-语言骨干网络和多模态扩散Transformer动作专家。
Ψ0模型如何实现下肢和躯干的控制？
Ψ0模型通过基于RL的控制策略来控制下肢和躯干关节的运动。
Ψ0模型的多阶段训练范式有什么特点？
Ψ0模型的多阶段训练范式为每个阶段设定不同的学习目标，以有效提炼运动先验和世界知识。
