利用区域性和物理引导的紧密互动人体重建

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

该文章介绍了一种新的多人人体重建方法,解决了深度模糊和人际遮挡导致的视觉信息不足问题。该方法利用社会亲密行为和物理知识,准确重建密切互动的人的姿势。实验结果显示该方法优于现有方法。

🎯

关键要点

  • 该文章介绍了一种新的多人人体重建方法,解决了深度模糊和人际遮挡导致的视觉信息不足问题。
  • 该方法利用社会亲密行为和物理知识,准确重建密切互动的人的姿势。
  • 现有的多人人体重建方法主要关注恢复准确的姿势或避免穿透,但忽略了密切互动的建模。
  • 本文通过从单目视频重建密切互动的人,旨在解决视觉信息缺失的主要挑战。
  • 提出的方法设计了基于向量量化变分自编码器 (VQ-VAE) 的潜在表示来建模人际交互。
  • 引入了一个基于亲密关系和物理规律的扩散模型来去噪初始分布。
  • 扩散模型的每个分支代表一个个体,以建模互动关系。
  • 通过学习 VQ-VAE 的先验知识和物理约束,我们的方法能够估计出准确且符合亲密关系和物理规律的姿势。
  • 在 Hi4D、3DPW 和 CHI3D 上的实验结果表明,该方法优于现有的方法。
  • 代码可在 https://github.com/boycehbz/HumanInteraction 获得。
➡️

继续阅读