DreamWaltz-G: 基于骨架引导的2D扩散生成表现力丰富的3D高斯头像

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

DreamAvatar是一个生成高质量3D头像的框架,结合NeRF和文本到图像扩散模型,通过SMPL模型指导姿势和形状。它采用双重空间设计,优化纹理和几何,实现生动效果。评估显示其在文本和形状引导的3D生成中表现出色。

🎯

关键要点

  • DreamAvatar是一个生成高质量、可控制姿态的3D人类头像的框架。

  • 使用可训练的NeRF生成3D点密度和颜色特征。

  • 预先训练的文本到图像扩散模型提供2D自监督。

  • 通过SMPL模型提供粗略的姿势和形状指导生成。

  • 引入双重空间设计,包括规范空间和观察空间。

  • NeRF学习的变形场连接规范空间和观察空间。

  • 优化的纹理和几何从规范空间转移到目标位置头像。

  • 添加正常一致性正则化以获得更生动的几何和纹理。

  • 经过评估,DreamAvatar明显优于现有方法。

  • 为文本和形状引导的3D人体生成设立了新的技术水准。

➡️

继续阅读