WholeBodyVLA——全身行走-操作控制的统一潜在VLA：基于从无标注视频中学习行走/操作的LAM，和专门面向loco–mani的RL策略LMO，让智元灵犀X2稳定搬箱子
内容提要
本文介绍了WholeBodyVLA框架，旨在提升人形机器人在复杂环境中的自主控制能力，解决行走与操作的协调问题，结合了潜在学习与强化学习策略。
关键要点
-
WholeBodyVLA框架旨在提升人形机器人在复杂环境中的自主控制能力。
-
该框架解决了行走与操作的协调问题，结合了潜在学习与强化学习策略。
-
作者提出统一潜在学习，从人类自视角视频中获取行走-操作先验。
-
潜在动作模型（LAM）用于将无动作标注的视频转化为离散的潜在动作。
-
行走和操作的视觉变化模式存在根本差异，因此分别训练行走LAM和操作LAM。
-
WholeBodyVLA框架支持在真实世界、大空间环境中的端到端类人机器人行走-操作任务。
-
现有的行走RL控制器采用连续速度跟踪目标，导致控制器训练困难。
-
作者提出面向行走-操作的RL策略（LMO），采用简化的离散指令接口。
-
LMO策略通过两阶段训练方案实现基础步态获取和精确稳定的行走-操作。
-
WholeBodyVLA的目标是构建一个将运动和操作集成为一体的统一VLA。
延伸解读
WholeBodyVLA的创新点
WholeBodyVLA框架通过统一潜在学习和强化学习策略，解决了人形机器人在复杂环境中行走与操作的协调问题。这种创新方法不仅提升了机器人的自主控制能力，还为未来的机器人技术发展提供了新的思路，尤其是在多任务执行和环境适应性方面。
行走与操作的训练差异
文章指出，行走和操作在视觉变化模式上存在根本差异，因此需要分别训练行走和操作的潜在动作模型（LAM）。这种针对性的训练方法能够更好地捕捉到各自的特征，从而提高机器人在执行复杂任务时的稳定性和准确性。
RL控制器的局限性
尽管WholeBodyVLA框架在高层决策上表现出色，但底层的RL控制器仍存在精度和稳定性不足的问题。这表明，未来的研究需要进一步优化RL控制器，以减少在执行运动时可能出现的失败情况，如绊倒和路径偏离。
延伸问答
WholeBodyVLA框架的主要目标是什么？
WholeBodyVLA框架旨在提升人形机器人在复杂环境中的自主控制能力，解决行走与操作的协调问题。
WholeBodyVLA如何实现行走与操作的协调？
通过结合潜在学习与强化学习策略，WholeBodyVLA框架解决了行走与操作的协调问题。
潜在动作模型（LAM）在WholeBodyVLA中起什么作用？
潜在动作模型（LAM）用于将无动作标注的视频转化为离散的潜在动作，为VLA提供监督信号。
LMO策略是如何优化行走控制的？
LMO策略通过简化的离散指令接口和两阶段训练方案，实现基础步态获取和精确稳定的行走-操作。
WholeBodyVLA框架在真实环境中的应用场景是什么？
该框架支持在真实世界、大空间环境中的端到端类人机器人行走-操作任务。
现有行走RL控制器的局限性是什么？
现有行走RL控制器采用连续速度跟踪目标，导致训练困难和在细粒度位置控制方面的可靠性差。
