量子位
·
一张图0.1秒生成上半身3D化身！清华IDEA新框架入选ICCV 2025
💡
原文中文，约2700字，阅读约需7分钟。
📝
内容提要
清华大学IDEA团队提出的GUAVA框架能够在0.1秒内从单张图像生成上半身3D化身，支持实时动画和渲染。GUAVA引入EHM模型，显著提升面部表情捕捉能力，实验结果显示其在渲染质量和效率上优于现有方法，相关代码已开源。
🎯
关键要点
- 清华大学IDEA团队提出GUAVA框架，能够在0.1秒内从单张图像生成上半身3D化身。
- GUAVA框架支持实时动画和渲染，无需多视角视频或单人训练。
- GUAVA引入EHM模型，显著提升面部表情捕捉能力，解决现有模型的局限性。
- GUAVA使用逆纹理映射技术和神经渲染器提高渲染质量。
- 实验结果显示GUAVA在渲染质量和效率上优于现有2D和3D方法。
- GUAVA通过EHM模型和精确跟踪方法增强面部表情、形状和姿势的捕捉能力。
- GUAVA的重建时间约为0.1秒，支持实时动画和渲染。
- 相关代码已开源，感兴趣者可进一步关注。
❓
延伸问答
GUAVA框架的主要功能是什么？
GUAVA框架能够在0.1秒内从单张图像生成上半身3D化身，并支持实时动画和渲染。
GUAVA如何提升面部表情捕捉能力？
GUAVA引入了EHM模型，结合了SMPLX和FLAME模型，能够实现更准确的面部表情表示。
GUAVA与现有方法相比有什么优势？
GUAVA在渲染质量和效率上优于现有2D和3D方法，重建时间约为0.1秒，支持实时应用。
GUAVA框架的重建过程是怎样的？
GUAVA通过单次前向推理方式完成重建，使用两个分支生成高斯，结合逆纹理映射技术捕捉细节。
GUAVA的实验结果如何？
实验显示GUAVA在所有指标上表现最佳，动画和渲染速度达到约50 FPS，重建时间仅为0.1秒。
GUAVA的代码是否开源？
是的，GUAVA的相关代码已开源，感兴趣者可以进一步关注。
➡️
