3D 高斯点云渲染调查

💡 原文中文,约1900字,阅读约需5分钟。
📝

内容提要

该文综述基于3D高斯泼溅(3DGS)的辐射场研究进展,涵盖:稀疏训练视角下融合深度先验与显式约束以减少背景折叠和浮点伪影、提升未见视角一致性;将高斯参数组织为二维网格实现紧凑存储;GS-SLAM首次将3DGS用于SLAM并结合自适应扩张与由粗到细位姿跟踪;1080p实时新视图合成;GS-IR实现逆向渲染与重光照;掩码与向量量化压缩、GaussianEditor三维编辑、2D基础模型蒸馏语义特征、实时去模糊,以及从高斯中快速提取可编辑网格等方法。

🔎

延伸解读

从稀疏视角到紧凑存储:3DGS 的两条优化路径

文章介绍了两种互补的改进方向:一是针对稀疏训练视角,通过融合深度先验与显式约束来减少背景折叠和浮点伪影,提升未见视角的一致性;二是将高斯参数组织为二维网格,利用局部均匀性大幅降低存储需求而不影响视觉质量。前者关注训练数据不足时的鲁棒性,后者关注表示效率,共同回应了 3DGS 在实际部署中的常见瓶颈。

GS-SLAM:3DGS 进入实时定位与建图

GS-SLAM 首次将 3D 高斯表示用于 SLAM 系统,采用实时可微分渲染流水线加速地图优化与 RGB-D 重渲染。其自适应扩张策略通过增删高斯来重建新观测区域并改善旧区域建图,而由粗到细的位姿跟踪则筛选可靠高斯以优化相机姿态。在 Replica 和 TUM-RGBD 数据集上,该方法与现有实时方法性能相当,但源代码尚未发布。

逆向渲染与编辑:GS-IR 和 GaussianEditor 的差异化能力

GS-IR 利用前向映射体积渲染进行逆向渲染,从多视图图像中估计几何、材质和环境光照,并通过深度法线正则化与烘焙遮挡模拟间接光照,实现重光照。GaussianEditor 则通过高斯语义跟踪和分层高斯泼溅实现对象去除与整合。两者分别拓展了 3DGS 在物理渲染和交互编辑上的能力,但文章未提供与同类方法的定量对比细节。

效率与可编辑性:压缩、去模糊与网格提取

文章还涵盖多项提升实用性的工作:学习性掩码与向量量化压缩高斯数量与存储;小型 MLP 操纵协方差实现实时去模糊;以及从高斯中快速提取网格的方法,通过正则项对齐表面并用 Poisson 重建替代 Marching Cubes,几分钟内即可获得可编辑网格,而传统神经隐式方法需数小时。这些进展共同降低了 3DGS 在存储、渲染和后期编辑上的门槛。

❓

Q&A

3D高斯点云渲染在稀疏视角训练时容易出现哪些问题,有什么改进方法?

稀疏训练视角下,3DGS容易出现背景折叠和浮点伪影,且未见视角一致性差。改进方法包括集成深度先验、生成和显式约束,以减少背景折叠、移除浮点值并增强未见视角一致性。实验表明,该方法在MipNeRF-360数据集上以较少的训练和推理成本,比基本3DGS提升30.5%,比基于NeRF的方法提升15.6%。

如何降低3D高斯模型的存储需求同时保持渲染质量?

可以将三维高斯扩散模型的参数组织成具有局部均匀性的二维网格,从而实现存储需求的大幅度降低,同时在渲染过程中不影响视觉质量。

GS-SLAM相比其他SLAM方法有什么优势?

GS-SLAM首次在SLAM系统中使用3D高斯表示,实现了效率和准确性之间更好的平衡。它采用实时可微分雀斑光照渲染流水线,加速地图优化和RGB-D重渲染;通过自适应扩张策略添加或删除噪声3D高斯来重构场景几何;在位姿跟踪中采用从粗到细的技术选择可靠的高斯表示优化相机姿态,减少运行时间并实现强健估计。在Replica和TUM-RGBD数据集上,其性能与现有最新实时方法具有竞争力。

GS-IR如何实现逆向渲染和重光照?

GS-IR是一种基于3D高斯泼溅的新型逆向渲染方法,利用前向映射体积渲染实现逼真的新视角合成和重新照明。它通过多视图图像从未知照明条件中估计场景几何、表面材质和环境照明,克服了NeRF等方法在表达能力和计算复杂性上的问题。具体引入基于深度推导的法线估计的正则化和基于烘焙的遮挡来模拟间接光照,提出高效优化方案解决3DGS引入逆向渲染时的问题。

GaussianEditor如何实现精确的3D编辑?

GaussianEditor基于高斯分层投影的新颖3D编辑算法,通过高斯语义跟踪精确控制编辑目标,结合Hierarchical Gaussian splatting (HGS)方法实现对象的有效去除和整合,从而在3D编辑领域取得显著进展。

如何从3D高斯散点图中快速提取可编辑网格?

首先引入一个鼓励高斯散点图与场景表面对齐的正则项,然后利用此对齐性通过Poisson重建方法从高斯散点图中提取网格,该方法快速、可扩展且能保留细节信息。最后引入可选的优化策略,通过高斯散点图渲染将高斯散点图与网格表面绑定,从而在传统软件中通过操纵网格实现易于编辑、雕刻、绑定、动画制作、合成和调光。与基于神经隐式函数的最先进方法相比,该方法可在几分钟内获取逼真渲染所需的可编辑网格,而不是数小时,同时提供更好的渲染质量。

🏷️

标签

➡️

继续阅读