机器之心 ·

ECCV 2024 | 南洋理工三维数字人生成新范式：结构扩散模型

💡 原文中文，约2900字，阅读约需7分钟。

📝

内容提要

新加坡南洋理工大学S-Lab团队提出了一种名为StructLDM的三维数字人生成新范式，通过结构化的高维人体表征、结构化的自动解码器和结构化的隐空间扩散模型实现。该模型能够生成高质量、多样化且视角一致的三维数字人，并支持可控生成与编辑功能。实验结果显示，StructLDM在各项评估中表现出色，具有广泛的应用潜力。

🎯

关键要点

新加坡南洋理工大学S-Lab团队提出StructLDM三维数字人生成新范式。
StructLDM通过结构化高维人体表征、自动解码器和隐空间扩散模型实现高质量三维数字人生成。
该模型支持可控生成与编辑功能，适用于数字孪生、元宇宙、游戏等领域。
传统三维数字人制作效率低，研究者提出基于3D GAN的方法以提高效率。
一维隐向量无法充分表征人体几何结构和语义信息，限制生成质量。
StructLDM包括结构化自动解码和结构扩散模型两个阶段。
实验结果显示StructLDM在多个数据集上表现优异，生成多样化且视角一致的三维数字人。
StructLDM支持相机视角、姿态、体型控制等可控性生成。
可进行组合式生成和互联网图片编辑，支持多种编辑任务。
研究发现结构感知的latent归一化技术提高了扩散模型学习效率。

❓

延伸问答

StructLDM模型的主要创新点是什么？

StructLDM模型通过结构化的高维人体表征、自动解码器和隐空间扩散模型实现高质量的三维数字人生成。

StructLDM在生成三维数字人方面的优势是什么？

StructLDM能够生成高质量、多样化且视角一致的三维数字人，并支持可控生成与编辑功能。

StructLDM如何解决传统三维数字人制作的效率问题？

StructLDM通过结构化的隐空间扩散模型和高维人体表征，显著提高了数字人制作的效率。

StructLDM支持哪些可控生成和编辑功能？

StructLDM支持相机视角、姿态、体型控制等可控生成，以及局部服装编辑和三维虚拟试衣等编辑功能。

StructLDM在实验评估中表现如何？

实验结果显示，StructLDM在多个数据集上表现优异，生成的三维数字人质量高且多样化。

StructLDM的训练过程包括哪些阶段？

StructLDM的训练过程包括结构化自动解码和结构扩散模型两个阶段。

🏷️