ECCV 2024 | 南洋理工三维数字人生成新范式：结构扩散模型
内容提要
新加坡南洋理工大学S-Lab团队提出了一种名为StructLDM的三维数字人生成新范式，通过结构化的高维人体表征、结构化的自动解码器和结构化的隐空间扩散模型实现。该模型能够生成高质量、多样化且视角一致的三维数字人，并支持可控生成与编辑功能。实验结果显示，StructLDM在各项评估中表现出色，具有广泛的应用潜力。
延伸解读
从一维到二维：结构化隐空间为何关键
传统3D GAN方法将人体压缩为一维隐向量，难以保留几何结构与语义信息，限制了生成质量和编辑能力。StructLDM改用结构化的高维UV latent，将人体表面展开为二维表示，使模型能分别建模身体各部位并保留细节。这种表征不仅提升了生成图像的保真度，还让后续的局部编辑（如换装）成为可能，因为每个部位在隐空间中有对应区域。
两阶段训练：自动解码器与扩散模型的分工
StructLDM的训练分为两阶段：首先，结构化自动解码器将不同姿态、视角和着装的人物图像拟合为统一的UV latent，过程中引入结构化局部NeRF和对抗学习来应对姿态估计误差；其次，扩散模型学习这些UV latent的分布，从而掌握人体三维先验。推理时，从噪声去噪得到UV latent，再经解码器渲染为图像。这种分工让生成既有多样性，又保持视角一致性。
可控生成与编辑：从虚拟试衣到互联网图片
得益于结构化隐空间，StructLDM支持多层级控制：相机视角、姿态、体型均可调节，还能进行三维虚拟试衣和组合式生成——将不同数字人的部位组合成新个体。此外，通过Inversion技术，模型可编辑互联网图片中的服装等元素。这些应用不依赖特定服装类型或遮罩条件，显示出较强的泛化能力，为数字孪生、元宇宙等场景提供了实用工具。
性能验证：定量指标与用户研究
在UBCFashion、RenderPeople和THUman 2.0三个数据集上，StructLDM的FID大幅低于对比方法，表明生成图像分布更接近真实。用户研究中，约73%的参与者认为其生成结果在面部细节和全身质量上优于AG3D。消融实验进一步显示，二维latent能捕捉高频细节，而结构感知的归一化使latent分布更接近高斯，提升了扩散模型的学习效率。
Q&A
StructLDM模型的主要创新点是什么？
StructLDM模型通过结构化的高维人体表征、自动解码器和隐空间扩散模型实现高质量的三维数字人生成。
StructLDM在生成三维数字人方面的优势是什么？
StructLDM能够生成高质量、多样化且视角一致的三维数字人，并支持可控生成与编辑功能。
StructLDM如何解决传统三维数字人制作的效率问题？
StructLDM通过结构化的隐空间扩散模型和高维人体表征，显著提高了数字人制作的效率。
StructLDM支持哪些可控生成和编辑功能？
StructLDM支持相机视角、姿态、体型控制等可控生成，以及局部服装编辑和三维虚拟试衣等编辑功能。
StructLDM在实验评估中表现如何？
实验结果显示，StructLDM在多个数据集上表现优异，生成的三维数字人质量高且多样化。
StructLDM的训练过程包括哪些阶段？
StructLDM的训练过程包括结构化自动解码和结构扩散模型两个阶段。
