从MDM、RobotMDM到UC San Diego的Exbody(含Exbody 2)——人体运动扩散模型:赋能机器人的训练

💡 原文中文,约1500字,阅读约需4分钟。
📝

内容提要

文章介绍了OmniH2O人形机器人,通过语音指令和预训练的文本到人体动作生成扩散模型(MDM)来控制动作。MDM利用文本提示生成多样化动作,体现文本到动作的多对多映射。其目标是在特定条件下合成人体动作,支持多种输入。扩散建模采用马尔可夫噪声过程,并使用几何损失正则化生成自然连贯的动作。

🎯

关键要点

  • OmniH2O人形机器人通过语音指令和预训练的文本到人体动作生成扩散模型(MDM)控制动作。

  • MDM利用文本提示生成多样化动作,体现文本到动作的多对多映射。

  • MDM的目标是在特定条件下合成人体动作,支持多种输入,如音频、自然语言和离散类别。

  • 扩散建模采用马尔可夫噪声过程,生成的动作由关节旋转或位置表示的人体姿势序列。

  • 几何损失正则化用于强化物理属性,促进自然和连贯的运动。

➡️

继续阅读