H2O-SDF: 使用物体表面场的二阶段学习进行 3D 室内重建
内容提要
本文综述神经距离场与神经辐射场在三维重建中的进展，涵盖室内场景形状、辐射与材料恢复，立体匹配表面重建，Du-NeRF双神经辐射场，DDF-HO手势交互建模，ObjectSDF++目标建模，HIO-SDF机器人工作空间表示，神经表面光场，uORF单图场景分解，以及动态城市场景与人体4D重建。
延伸解读
神经距离场与辐射场的融合趋势
文章综述的多项工作显示，神经距离场（如SDF）与神经辐射场（NeRF）正走向融合。例如，Du-NeRF同时优化几何与视角合成，ObjectSDF++改进个体目标建模，而HIO-SDF将SDF用于机器人工作空间表示。这种融合旨在兼顾几何精度与外观渲染，但不同方法在场景尺度、动态适应性和计算效率上各有取舍，读者需根据具体任务选择。
从静态重建到动态与交互建模
综述涵盖的方法已从静态室内场景扩展到动态城市场景和手势交互。DDF-HO专门建模手与物体的交互，动态城市场景工作则分解静态背景与运动对象。这些进展表明，神经场表示正逐步处理更复杂的4D问题，但动态重建通常需要更多数据或先验，且实时性仍是挑战。
单图与稀疏视角重建的进展
uORF和神经表面光场等工作致力于降低对多视角输入的依赖。uORF从单张图像推断物体场景表示，神经表面光场则应对机器人拍摄视角受限的问题。这些方法提升了实用性，但单图或稀疏视角下几何细节和材质恢复的准确性通常低于多视角方法，可能影响下游任务如编辑或模拟的可靠性。
Q&A
H2O-SDF 是什么？它主要解决什么问题？
H2O-SDF 是一种基于神经距离场的方法，利用可微分的蒙特卡罗光线跟踪技术，从多视角图像中恢复室内场景的形状、辐射和材料，并进行物理模拟和逼真的场景编辑。
H2O-SDF 在室内场景重建方面有哪些优势？
实验结果表明，H2O-SDF 在室内场景重建、新视角合成和场景编辑方面优于现有的基线方法。
Du-NeRF 是什么？它有什么特点？
Du-NeRF 是一种双重神经辐射场方法，可同时实现高质量的几何重建和视角合成，大大改善了室内环境下的新视角合成和三维重建性能，并对不服从多视角颜色一致性的细几何构造尤为有效。
DDF-HO 方法是如何建模手物交互的？
DDF-HO 利用 Directed Distance Field 作为形状表示，通过引入新的 2D 基于射线的特征聚合方案和 3D 交叉感知手势嵌入，结合 2D-3D 特征对手和物体的相互作用进行建模，大幅优于其他基准方法，尤其在 Chamfer 距离下超过 80%。
ObjectSDF++ 框架有什么作用？
ObjectSDF++ 框架通过利用神经隐式表面重建方法和新的渲染公式，改善多视角 3D 重建中对个体目标的建模和场景重构的质量。
HIO-SDF 如何表示机器人工作空间？
HIO-SDF 将环境表示为带有分层方法的签名距离场，将大型复杂移动机器人工作空间紧凑地表示，并能够在在线模式下进行增量更新，相比现有的连续或离散表示法，其全局 SDF 误差较低。
