HOIDiffusion: 生成真实的三维手物体交互数据

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本研究通过模块化设计开发了双分支扩散模型(HOI-DM)和互动预测扩散模型(APDM),用于生成逼真的三维人-物互动。实验结果表明该方法能够产生具有各种互动和不同类型物体的逼真的人-物互动。

🎯

关键要点

  • 本研究通过模块化设计生成逼真的三维人-物互动。
  • 开发了双分支扩散模型(HOI-DM)用于生成人和物体的动作。
  • HOI-DM通过交叉注意力通信模块促进一致的动作。
  • 开发了互动预测扩散模型(APDM)来预测人和物体之间的接触区域。
  • APDM可以纠正HOI-DM的潜在错误,并随机生成接触点。
  • 将估计的接触点合并到分类器引导中,实现准确的人与物接触。
  • 通过注释BEHAVE数据集的文本描述训练和评估方法。
  • 实验结果表明该方法能够产生多样化的逼真互动。
➡️

继续阅读