基于几何引导文本图像扩散模型的神经辐射场可控三维化身生成

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

DreamAvatar是一个生成高质量、可控制姿态的3D人类头像的框架,使用NeRF生成3D点密度和颜色特征,通过文本到图像扩散模型提供2D自监督,通过SMPL模型提供粗略的姿势和形状指导生成,通过双重空间设计将规范空间和观察空间联系起来。经过评估,DreamAvatar优于现有方法,为文本和形状引导的3D人体生成设立了新的技术水准。

🎯

关键要点

  • DreamAvatar是一个生成高质量、可控制姿态的3D人类头像的框架。
  • 使用可训练的NeRF生成3D点密度和颜色特征。
  • 通过预先训练的文本到图像扩散模型提供2D自监督。
  • SMPL模型提供粗略的姿势和形状指导生成。
  • 引入双重空间设计,连接规范空间和观察空间。
  • 通过NeRF学习的变形场将优化的纹理和几何转移到目标位置头像。
  • 添加正常一致性正则化以获得更生动的几何和纹理。
  • 经过评估,DreamAvatar优于现有方法,设立了新的技术水准。
➡️

继续阅读