梦HOI:基于扩散先验的主体驱动三维人机交互生成
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
本研究通过模块化设计开发了双分支扩散模型(HOI-DM)和互动预测扩散模型(APDM),用于生成逼真的三维人-物互动。实验结果表明,该方法能够产生具有各种互动和不同类型物体的逼真的人-物互动。
🎯
关键要点
- 研究通过文本指令生成逼真的三维人-物互动。
- 采用模块化设计,将复杂任务分解为简单子任务。
- 开发了双分支扩散模型(HOI-DM)来生成人和物体的动作。
- 通过交叉注意力通信模块促进一致的动作。
- 开发了互动预测扩散模型(APDM)来预测人和物体之间的接触区域。
- APDM能够纠正HOI-DM的潜在错误,并随机生成接触点。
- 将估计的接触点合并到分类器引导中,实现准确的接触。
- 通过注释BEHAVE数据集的文本描述来训练和评估方法。
- 实验结果表明方法能够产生各种互动和不同类型物体的逼真互动。
➡️