HumanRef: 通过参考引导扩散进行的单张图像到三维人体生成

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

最新研究在零样本文本到3D人体生成方面取得突破,通过使用人体模型先验和预训练的模型,解决了梯度方向和人体纹理的问题。新模型PaintHuman引入了降噪得分蒸馏和深度图作为几何指导,提高了纹理质量。实验证明该方法有效。

🎯

关键要点

  • 最新研究在零样本文本到3D人体生成方面取得突破。

  • 使用人体模型先验和预训练的模型解决了梯度方向和人体纹理的问题。

  • 新模型PaintHuman引入了降噪得分蒸馏和深度图作为几何指导。

  • 降噪得分蒸馏通过引入负梯度分量校正梯度方向,生成高质量纹理。

  • 深度图确保纹理与人体网状表面语义对齐。

  • 几何感知网络用于预测表面材料并渲染逼真的人体纹理。

  • 大量实验验证了该方法的有效性。

➡️

继续阅读