从MDM、RobotMDM到UC San Diego的Exbody(含Exbody 2)——人体运动扩散模型:赋能机器人的训练
💡
原文中文,约1500字,阅读约需4分钟。
📝
内容提要
文章介绍了OmniH2O人形机器人,通过语音指令和预训练的文本到人体动作生成扩散模型(MDM)来控制动作。MDM利用文本提示生成多样化动作,体现文本到动作的多对多映射。其目标是在特定条件下合成人体动作,支持多种输入。扩散建模采用马尔可夫噪声过程,并使用几何损失正则化生成自然连贯的动作。
🎯
关键要点
-
OmniH2O人形机器人通过语音指令和预训练的文本到人体动作生成扩散模型(MDM)控制动作。
-
MDM利用文本提示生成多样化动作,体现文本到动作的多对多映射。
-
MDM的目标是在特定条件下合成人体动作,支持多种输入,如音频、自然语言和离散类别。
-
扩散建模采用马尔可夫噪声过程,生成的动作由关节旋转或位置表示的人体姿势序列。
-
几何损失正则化用于强化物理属性,促进自然和连贯的运动。
➡️