具有三维约束的三重条件扩散模型TCDiff用于合成面孔的风格化

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

FitDiff是一种基于扩散的三维人脸化身生成模型,可以准确生成可光照补充的人脸化身。它利用从二维人脸图像中提取的身份嵌入,并展示了强大的泛化能力。FitDiff是第一个以面部识别嵌入为条件的LDM,能够重构可光照补充的人类化身,并在渲染引擎中达到最佳性能。

🎯

关键要点

  • FitDiff是一种基于扩散的三维人脸化身生成模型。
  • 该模型能够准确生成可光照补充的人脸化身。
  • FitDiff利用从二维人脸图像中提取的身份嵌入。
  • 模型展示了强大的泛化能力,仅在公共人脸数据集的注释子集上进行训练。
  • FitDiff同时输出面部反射映射和形状。
  • 使用感知和人脸识别损失指导反向扩散过程。
  • FitDiff是第一个以面部识别嵌入为条件的LDM。
  • 能够重构可光照补充的人类化身,并在常见渲染引擎中使用。
  • FitDiff达到了业界的最佳性能。
➡️

继续阅读