从MDM、RobotMDM到UC San Diego的Exbody(含Exbody 2)——人体运动扩散模型：赋能机器人的训练
💡
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
文章介绍了OmniH2O人形机器人，通过语音指令和预训练的文本到人体动作生成扩散模型（MDM）来控制动作。MDM利用文本提示生成多样化动作，体现文本到动作的多对多映射。其目标是在特定条件下合成人体动作，支持多种输入。扩散建模采用马尔可夫噪声过程，并使用几何损失正则化生成自然连贯的动作。
🎯
关键要点
- OmniH2O人形机器人通过语音指令和预训练的文本到人体动作生成扩散模型（MDM）控制动作。
- MDM利用文本提示生成多样化动作，体现文本到动作的多对多映射。
- MDM的目标是在特定条件下合成人体动作，支持多种输入，如音频、自然语言和离散类别。
- 扩散建模采用马尔可夫噪声过程，生成的动作由关节旋转或位置表示的人体姿势序列。
- 几何损失正则化用于强化物理属性，促进自然和连贯的运动。
❓
延伸问答
MDM是什么，它的主要功能是什么？
MDM是人体动作生成的扩散模型，主要功能是通过文本提示生成多样化的人体动作。
MDM如何实现文本到动作的转换？
MDM通过条件化CLIP模型，在无分类器的情况下实现文本到动作的转换。
MDM支持哪些类型的输入？
MDM支持音频、自然语言和离散类别等多种输入类型。
扩散建模在MDM中是如何运作的？
扩散建模在MDM中采用马尔可夫噪声过程，逐步清理生成的动作序列。
几何损失在MDM中有什么作用？
几何损失用于强化物理属性，促进生成动作的自然和连贯性。
OmniH2O机器人如何使用MDM进行动作控制？
OmniH2O机器人通过语音指令和MDM生成的动作目标来控制其动作。
➡️
