从视频中学习的最新进展：从Humanoid-X(自动打字幕)、首个人形VLA Humanoid-VLA到一看视频就学会的VideoMimic

本文探讨了Humanoid-VLA模型，旨在解决人形机器人运动控制中的数据稀缺问题。

通过将非自我中心的人体运动数据与语言描述对齐，利用自监督学习生成伪注释，提升模型的运动生成能力。

Humanoid-VLA框架有效整合语言理解、场景感知与运动控制，推动人形机器人在复杂环境中的自主操作。

现有的动作捕捉数据集缺乏同步的第一人称视觉信息，限制了以自我为中心的任务的实现。

Humanoid-VLA提出了一种可行且具有成本效益的范式，通过语言-运动的预对齐来克服数据稀缺的挑战。

该模型通过自动化的运动分析生成伪注释，避免了对人工标注文本描述的需求。

Humanoid-VLA框架降低了对以自我为中心的数据集的依赖，使得将语言理解与运动控制相结合成为可能。

通过参数高效的交叉注意力模块，整合以自我为中心的视觉上下文，实现上下文感知的运动生成。

传统的人形控制方法缺乏适应性，而基于学习的方法受限于人形数据集的有限性。

Humanoid-VLA是第一个针对人形机器人设计的VLA模型，旨在解决人形机器人控制的局限性。

通过组合运动量化和自动数据增强，Humanoid-VLA实现了运动数据的有效利用。

该框架利用运动数据的时间和空间动态特性，增强了模型对运动-语言关系的学习能力。

训练过程分为两个阶段，首先利用低质量数据建立初步对齐，然后使用高质量数据进行精细调整。

运动生成被框定为自回归过程，预测下一个动作token的字典索引以生成最终运动输出。