ACM TOG｜仅通过手机拍照就可以对透明物体进行三维重建
原文中文，约7100字，阅读约需17分钟。
📝
内容提要
中科院计算所与加州大学合作提出NU-NeRF方法，实现嵌套透明物体的三维重建。该方法无需额外输入，通过分步重建外层和内层几何，解决透明材质重建中的问题。NU-NeRF利用神经网络预测折射颜色，提升重建准确性，并通过光线追踪重建内层几何。实验显示，该方法在复杂场景中表现优异。
🎯
关键要点
-
中科院计算所与加州大学合作提出NU-NeRF方法，实现嵌套透明物体的三维重建。
-
NU-NeRF方法无需额外输入，通过分步重建外层和内层几何，解决透明材质重建中的问题。
-
该方法利用神经网络预测折射颜色，提升重建准确性，并通过光线追踪重建内层几何。
-
实验显示，NU-NeRF在复杂场景中表现优异。
-
NU-NeRF的研究已被ACM TOG录用，并将在SIGGRAPH Asia 2024报告。
-
NU-NeRF的重建过程分为两步：外层几何重建和内层几何重建。
-
外层几何重建通过分开建模反射和折射，利用MLP网络预测折射颜色。
-
内层几何重建通过显式光线追踪，利用外层几何进行采样和渲染。
-
NU-NeRF在处理容器类物体时考虑了多种不同类型的材质。
-
实验结果表明，NU-NeRF在合成和实拍数据集上均能准确重建内外几何。
❓
延伸问答
NU-NeRF方法的主要创新点是什么？
NU-NeRF方法通过分步重建外层和内层几何，解决了嵌套透明物体的重建问题，无需额外输入。
NU-NeRF如何处理透明物体的折射问题？
NU-NeRF通过神经网络预测折射颜色，避免了复杂的光线追踪过程，从而简化了折射的建模。
NU-NeRF在实验中表现如何？
实验结果表明，NU-NeRF在合成和实拍数据集上均能准确重建内外几何，表现优异。
NU-NeRF的重建过程分为哪两步？
重建过程分为外层几何重建和内层几何重建两步。
NU-NeRF的研究成果将在哪个会议上报告？
NU-NeRF的研究成果将于SIGGRAPH Asia 2024报告。
NU-NeRF如何处理容器类物体的重建？
NU-NeRF针对容器类物体提出了折射计算的近似方案，考虑了不同材质的影响。
🏷️
