具有三维约束的三重条件扩散模型TCDiff用于合成面孔的风格化
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
FitDiff是一种基于扩散的三维人脸化身生成模型,可以准确生成可光照补充的人脸化身。它利用从二维人脸图像中提取的身份嵌入,并展示了强大的泛化能力。FitDiff是第一个以面部识别嵌入为条件的LDM,能够重构可光照补充的人类化身,并在渲染引擎中达到最佳性能。
🎯
关键要点
- FitDiff是一种基于扩散的三维人脸化身生成模型。
- 该模型能够准确生成可光照补充的人脸化身。
- FitDiff利用从二维人脸图像中提取的身份嵌入。
- 模型展示了强大的泛化能力,仅在公共人脸数据集的注释子集上进行训练。
- FitDiff同时输出面部反射映射和形状。
- 使用感知和人脸识别损失指导反向扩散过程。
- FitDiff是第一个以面部识别嵌入为条件的LDM。
- 能够重构可光照补充的人类化身,并在常见渲染引擎中使用。
- FitDiff达到了业界的最佳性能。
➡️