三维高斯函数中的语义任意性
内容提要
本文综述3D高斯泼溅技术进展：SA3D将2D掩码投影为3D分割；Gaussian Grouping实现重建、分割与编辑；SAGA可在毫秒内完成3D分割，提速近千倍；Scaffold-GS用锚点减少冗余高斯；另有方法快速提取可编辑网格，并提升稀疏视角一致性。
延伸解读
语义分割的加速与效率
SAGA方法通过对比训练将2D分割基础模型的多粒度结果嵌入3D高斯特征，实现了毫秒级3D分割，相比先前最优方法加速近1000倍。这显著提升了3D分割的实时性，为交互式应用如机器人导航和AR/VR提供了可能。同时，Scaffold-GS利用锚点动态分布高斯，减少冗余，进一步优化了渲染效率。
编辑与网格提取的实用性
Gaussian Grouping通过身份编码实现高质量重建、分割和编辑，支持对象移除、修复、上色和场景重组。此外，从3D高斯中快速提取可编辑网格的方法，利用正则项对齐和Poisson重建，能在几分钟内生成逼真网格，而传统神经隐式方法需数小时。这便于在传统软件中进行编辑、雕刻和动画制作，提升了工作流效率。
稀疏视角与渲染一致性
针对稀疏训练视角，有方法集成深度先验和显式约束，减少背景折叠和浮点伪影，增强未见视角的一致性。在MipNeRF-360数据集上，以较少训练和推理成本，渲染质量超过基本3DGS 30.5%和基于NeRF方法15.6%。这表明3DGS在数据稀缺场景下也能保持高质量渲染。
Q&A
SA3D 是如何实现三维分割的？
SA3D 通过密度导向的反渲染将 2D 分割蒙版投影到 3D 蒙版网格，再通过迭代方式学习准确的 3D 分割结果。
Gaussian Grouping 能用来做什么？
Gaussian Grouping 通过识别每个高斯函数的紧凑身份编码，将高斯函数按对象实例分组，实现高质量的三维重建、分割和编辑，并支持 3D 对象移除、修复、上色和场景重组等编辑应用。
SAGA 在 3D 分割速度上有什么突破？
SAGA 可以在毫秒内完成 3D 分割，相比先前的 SOTA 加速近 1000 倍。
Scaffold-GS 如何减少冗余的高斯点？
Scaffold-GS 使用锚点在视场内基于视线方向和距离动态分布局部的 3D Gaussians，从而有效减少冗余的 Gaussians，同时实现高质量渲染。
从 3D 高斯散点图中提取网格的方法有什么优势？
该方法能精确且非常快速地提取网格，使用高斯散点图进行实际渲染，训练速度比 NeRFs 更快；通过正则项鼓励高斯与场景表面对齐，再用 Poisson 重建提取网格，快速、可扩展且保留细节；可在几分钟内获取可编辑网格，而传统方法需数小时，且渲染质量更好。
如何提升 3DGS 在稀疏视角下的渲染一致性？
通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值，并增强来自未见视角的一致性，实验证明该方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。
