BriefGPT - AI 论文速递
·
FitDiff：使用扩散模型进行鲁棒的单目 3D 面部形状和反射估计
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
研究人员提出了一种基于扩散的三维人脸化身生成模型FitDiff，能够准确生成可光照补充的人脸化身。该模型利用从二维人脸图像中提取的身份嵌入，并同时输出面部反射映射和形状。FitDiff是第一个以面部识别嵌入为条件的LDM，能够重构可光照补充的人类化身，并达到了业界最佳性能。
🎯
关键要点
- 研究人员提出了一种基于扩散的三维人脸化身生成模型FitDiff。
- FitDiff能够准确生成可光照补充的人脸化身。
- 该模型利用从二维人脸图像中提取的身份嵌入。
- FitDiff同时输出面部反射映射和形状，展示强大的泛化能力。
- 模型仅在公共人脸数据集的注释子集上进行训练。
- 使用感知和人脸识别损失指导反向扩散过程。
- FitDiff是第一个以面部识别嵌入为条件的LDM。
- 该模型能够重构可光照补充的人类化身，并在常见渲染引擎中使用。
- FitDiff达到了业界最佳性能。
➡️
