CVPR'24 Highlight|一个框架搞定人物动作生成,精细到手部运动

CVPR'24 Highlight|一个框架搞定人物动作生成,精细到手部运动

💡 原文中文,约3500字,阅读约需9分钟。
📝

内容提要

这篇文章介绍了一种使用自回归条件扩散模型的动作生成框架,可以生成真实、带有语义、符合场景且无长度限制的人物动作。同时,作者还发布了一个包含准确且丰富的人物-场景交互数据集TRUMANS,用于支持动作生成研究。实验结果表明,该方法在动态和静态物体交互动作生成方面具有优越性。

🎯

关键要点

  • 文章介绍了一种使用自回归条件扩散模型的动作生成框架,能够生成真实、带有语义、符合场景且无长度限制的人物动作。
  • 发布了一个包含准确且丰富的人物-场景交互数据集TRUMANS,支持动作生成研究。
  • 研究者提出的方法融合场景和语义信息,能够在给定动作类别和路径点的条件下生成符合场景约束的人物动作。
  • TRUMANS数据集包含15小时的动作数据,覆盖卧室、餐厅和办公室等100个场景配置。
  • 提出的动作生成框架采用自回归机制,逐段生成动作,并使用局部场景感知器确保生成动作符合场景约束。
  • 模型支持路径轨迹约束和精确的关节位置控制,能够生成复杂的交互动作。
  • 数据集TRUMANS通过对合成场景的细致还原,确保人与物体之间的交互自然且精确。
  • 实验结果表明,本文方法在动态和静态物体交互动作生成方面具有优越性,且TRUMANS数据集提升了生成质量。
➡️

继续阅读