GES: 通用指数溅射用于高效辐亮场渲染
内容提要
3D高斯喷洒（3DGS）是一种实时可控、可编辑的三维重建与表示方法，利用显式场景表示和可微渲染实现快速训练与实时渲染。本文综述其原理、应用与性能评估，指出挑战与未来方向。相关研究通过网格混合、量化嵌入、粗到精训练、掩码与向量量化等技术，降低存储、提升渲染质量与速度，并拓展至三维编辑。
延伸解读
3DGS 的核心优势与局限
3D高斯喷洒（3DGS）通过显式场景表示和可微渲染，实现了快速训练与实时渲染，且场景可控可编辑。相比神经辐射场（NeRF），3DGS 在训练和推理速度上优势明显。但其缺点在于对数十万高斯分量的条件建模缺乏明确定义，这为场景编辑和动态控制带来了挑战。
存储与效率的优化路径
为降低存储需求，研究者提出了多种技术：量化嵌入、粗到精训练、学习性掩码、向量量化以及将参数组织成二维网格等。这些方法在保持渲染质量的同时，大幅减少内存占用，并提升优化速度和稳定性，使高分辨率实时渲染成为可能。
动态与编辑能力的进展
高斯网格喷洒（GaMeS）将高斯固定在网格表面，允许动画中自动调整位置、比例和旋转，实现高质量实时渲染。GaussianEditor 则结合高斯语义跟踪和分层高斯喷洒，支持对象的精确去除与整合。这些进展拓展了3DGS在动态场景和3D编辑中的应用。
稀疏视角与渲染性能
针对稀疏训练视角，集成深度先验和显式约束的方法能减少背景折叠和浮点伪影，增强新视角一致性，在MipNeRF-360数据集上以更少成本超越基本3DGS 30.5%。此外，通过3D高斯表示和可见性感知渲染算法，已实现1080p分辨率下超过30帧/秒的实时新视图合成。
Q&A
3D高斯喷洒（3DGS）是什么？它有什么主要优势？
3D高斯喷洒是一种能够实时渲染的、可控且可编辑的3D重建和表示方法。它通过显式场景表示和可微分的渲染算法，提供了快速训练和实时渲染的优势，为下一代3D重建和表示技术带来了潜在的变革。
3D高斯喷洒与神经辐射场（NeRF）相比有什么不同？
与NeRF相比，3D高斯喷洒不依赖神经网络，而是通过高斯分布来近似对图像像素的贡献，从而保证快速训练和实时渲染。NeRF模型在训练和推理时间上通常受到限制，而3DGS提供了更快的训练和实时渲染能力。
如何降低3D高斯喷洒的存储需求？
可以通过量化嵌入技术和粗到精的训练策略来大幅降低内存存储需求，实现高分辨率场景的实时渲染和更快更稳定的高斯点云优化。此外，使用学习性的掩码策略和向量量化，可以减少高斯点的数量和占用的存储空间。
3D高斯喷洒在3D编辑方面有哪些应用？
GaussianEditor是一种基于高斯分层投影的新颖3D编辑算法，通过高斯语义跟踪精确控制编辑目标，结合Hierarchical Gaussian splatting (HGS)方法实现对象的有效去除和整合，从而在3D编辑领域取得了显著进展。
3D高斯喷洒的渲染速度如何？
3D高斯喷洒能够实现高质量的实时渲染，例如基于网格的高斯喷洒表示方法每秒平均可达65帧，并且支持大于等于30帧/秒的1080p分辨率的新视图合成。
3D高斯喷洒面临哪些挑战和未来研究方向？
3D高斯喷洒的一个缺点是缺乏对其条件的明确定义，因为需要对几十万个高斯分量进行条件建模。未来的研究方向包括解决这些挑战，并进一步探索3D高斯喷洒在3D重建和表示技术中的潜力。
