基于 SAM 掩模引导的室内场景重建中的网格和三维高斯融合

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

我们提出了一种结合3D高斯喷洒和网格表示的三维室内场景重建新方法。该方法利用网格表示室内场景的房间布局,同时使用3D高斯表示其他物体。为了克服挑战,我们采用了Segment Anything Model(SAM)来指导基元的选择。此外,我们还引入了额外的致密化阶段,避免了图像质量降低。

🎯

关键要点

  • 提出了一种结合3D高斯喷洒和网格表示的三维室内场景重建新方法。
  • 该方法利用网格表示室内场景的房间布局,包括墙壁、天花板和地板。
  • 使用3D高斯表示其他物体,充分发挥两种表示的优势。
  • 提供了增强的灵活性和编辑的便利性。
  • 采用Segment Anything Model(SAM)来指导基元的选择,克服联合训练的挑战。
  • SAM掩码损失确保每个实例由高斯或网格表示,确保清晰分离和稳定训练。
  • 在标准致密化后引入额外的致密化阶段,避免图像质量降低。
🏷️

标签