量子位
·
CVPR 2025：单图秒变专业影棚，几何/材质/光影全搞定，数据代码开源
💡
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
香港中文大学等团队研发的Neural LightRig，利用图像扩散模型生成多光照图像，解决了单图法线和材质估计的不确定性。实验结果表明，该方法在法线和材质估计上显著优于现有技术，适用于AR和VR领域，相关资源已开源。
🎯
关键要点
- Neural LightRig是由香港中文大学、上海人工智能实验室和南洋理工大学联合研发的项目。
- 该项目旨在解决从单幅图像中准确估计物体三维法线和材质属性的难题。
- 传统方法需要多角度或多光源拍摄，难以在日常场景中应用。
- Neural LightRig利用图像扩散模型生成虚拟多光照图像，减少单图估计的不确定性。
- 研究团队提出微调预训练的图像扩散模型，生成一致性多光照图像序列。
- 采用混合条件策略和双阶段微调策略，提升生成图像的质量和一致性。
- 基于U-Net的G-buffer重建模型用于高效精确估计物体表面法线和PBR材质属性。
- 显式光照条件输入和优化目标设计提高了模型的预测能力。
- 实验结果显示，Neural LightRig在法线和材质估计上显著优于现有技术。
- 该方法在真实世界图像中的泛化表现突出，适用于AR、VR等领域。
- 研究团队已开源相关资源，欢迎社区使用和探索。
❓
延伸问答
Neural LightRig的主要目标是什么？
Neural LightRig旨在从单幅图像中准确估计物体的三维法线和材质属性，解决传统方法的局限性。
Neural LightRig如何减少单图估计的不确定性？
该项目利用图像扩散模型生成虚拟多光照图像，从而有效减少单图估计过程中的不确定性。
Neural LightRig在法线和材质估计上表现如何？
实验结果显示，Neural LightRig在法线和材质估计上显著优于现有技术，法线估计的平均角度误差降低至6.413°。
该项目的开源资源有哪些？
研究团队已开源代码、数据集和预训练模型，相关资源可在GitHub和Hugging Face找到。
Neural LightRig适用于哪些应用领域？
该方法适用于增强现实（AR）、虚拟现实（VR）和数字内容创作等广泛领域。
Neural LightRig的创新点是什么？
Neural LightRig创新性地提出通过微调预训练的图像扩散模型生成一致性多光照图像序列，解决了单图法线和材质估计的不确定性。
🏷️
标签
➡️
