HDMI——人形交互式全身控制：宏观上从人类RGB视频中学习全身交互控制，微观上暂依赖动捕数据，且暂一项技能一套策略
📝
内容提要
摘要：HDMI（人形交互模仿）是一种从人类视频中学习全身控制的新框架。该研究解决了人形机器人-物体交互(HOI)中的两大挑战：数据稀缺和强化学习训练难题。方法分为三个阶段：从RGB视频提取运动轨迹、使用强化学习训练协同跟踪策略、直接部署执行。关键技术包括：统一物体表示、残差动作空间和交互奖励机制。相比传统方法，HDMI无需任务特定奖励设计，能处理不同物体类型和交互场景，实现更自然的搬运等复杂...
🏷️
标签
➡️
