利用区域性和物理引导的紧密互动人体重建

现有的多人人体重建方法主要关注于恢复准确的姿势或避免穿透，但忽略了密切互动的建模。本文通过从单目视频重建密切互动的人，旨在解决由深度模糊和人际遮挡引起的视觉信息不足的主要挑战。为弥补视觉信息的缺失，我们建议利用社会亲密行为和物理知识。具体而言，我们首先设计了基于向量量化变分自编码器 (VQ-VAE) 的潜在表示来建模人际交互。然后引入了一个基于亲密关系和物理规律的扩散模型来去噪初始分布。我们设计了扩散模型，其中每个分支代表一个个体，以建模互动关系。通过学习 VQ-VAE 的先验知识和物理约束作为附加信息，我们的方法能够估计出既准确又符合亲密关系和物理规律的姿势。Hi4D、3DPW 和 CHI3D 上的实验结果表明，我们的方法优于现有的方法。代码可在 https://github.com/boycehbz/HumanInteraction 获得。