基于 SAM 掩模引导的室内场景重建中的网格和三维高斯融合
内容提要
本文提出了一种结合神经有向距离场和三维高斯光斑的优化框架，实现高质量室内场景重建与实时渲染。通过可学习的场景模型和新方法SA-GS，支持3D对象分割、编辑和碰撞检测，展现出卓越性能。此外，介绍了Mesh-adsorbed Gaussian Splatting（MaGS）方法，提升了渲染准确性和变形效果，快速提取可编辑网格，显著提高了渲染质量和效率。
延伸解读
技术融合的核心思路
文章将神经有向距离场（SDF）与三维高斯光斑（3DGS）结合，构建统一优化框架。SDF提供显式几何信息，3DGS负责高质量渲染，两者互补。这种融合旨在同时实现高质量重建和实时渲染，并支持场景编辑与碰撞检测等操作，为室内场景重建提供了新思路。
SA-GS：无需训练的三维分割
SA-GS利用SAM的二维掩模预测，通过多视角掩码生成和跨视图标签投票，实现三维一致的分割。该方法无需训练过程和学习参数，即可泛化SAM到三维场景，支持场景编辑和碰撞检测。这降低了三维分割的应用门槛，但分割质量可能受SAM在复杂场景中表现的影响。
MaGS：网格与高斯的结合
Mesh-adsorbed Gaussian Splatting（MaGS）在网格表面生成吸附的高斯表示，结合了高斯的渲染灵活性和网格的空间一致性。通过可学习的相对变形场（RDF），更精确捕捉高斯运动，提升渲染准确性和变形效果。在D-NeRF和NeRF-DS数据集上取得了竞争性结果，但可能对网格质量有一定依赖。
快速网格提取与编辑
文章提出从3D高斯散点图中快速提取网格的方法，通过正则项鼓励高斯与场景表面对齐，再利用Poisson重建提取网格。相比神经隐式函数的Marching Cubes，该方法更快、可扩展且保留细节。提取的网格可在传统软件中编辑，几分钟内即可获得可编辑网格，而传统方法需数小时，显著提升效率。
Q&A
什么是基于 SAM 掩模引导的室内场景重建方法？
基于 SAM 掩模引导的室内场景重建方法结合了神经有向距离场和三维高斯光斑，旨在实现高质量的室内场景重建与实时渲染。
SA-GS 方法的主要功能是什么？
SA-GS 方法实现了3D对象分割，支持场景编辑和碰撞检测，展现出高质量的3D分割结果。
Mesh-adsorbed Gaussian Splatting（MaGS）方法的优势是什么？
MaGS 方法结合了三维高斯的灵活性和网格的空间一致性，提升了渲染准确性和变形效果。
如何快速提取可编辑网格？
通过高斯散点图与场景表面对齐的正则项，利用 Poisson 重建方法可以快速提取可编辑网格，显著提高渲染质量和效率。
该研究如何支持场景更新？
研究中开发的可学习场景模型具有适应场景更新的优势，能够准确重构包含显式几何信息的三维场景。
该技术在渲染质量上有什么突破？
该技术在渲染质量方面达到了最新水平，能够在几分钟内获取逼真渲染所需的可编辑网格。
