基于网格的高斯映射在实时大规模变形中的应用
内容提要
3D高斯喷洒（3DGS）是继NeRF之后的新型三维渲染技术，使用显式高斯分布表示场景，训练速度快且支持实时渲染。本文综述其原理、应用与性能，并介绍GaMeS、动态场景重建、网格提取、4D-GS、紧凑表示、GS-SLAM等改进方法，指出其推动下一代三维重建变革。
延伸解读
3DGS 与 NeRF 的差异
文章指出，NeRF 依赖神经网络表示三维场景，但训练和推理时间受限；而 3DGS 使用显式高斯分布，训练速度快且支持实时渲染。这种显式表示使 3DGS 在需要快速迭代和实时交互的场景中更具优势，但文章也提到其缺点：缺乏对条件的明确定义，因为需要对几十万个高斯分量进行条件建模。
GaMeS 如何解决条件建模问题
针对 3DGS 条件建模的不足，文章介绍了高斯网格喷洒（GaMeS）模型。它将高斯固定在物体表面的网格上，仅根据高斯在网格上的位置来定义，从而在动画过程中自动调整位置、比例和旋转。文章还指出，即使没有预定义网格，初始网格也可以在学习过程中调整，这为实时生成高质量视图提供了新思路。
动态场景与网格提取的进展
文章提到，可变形的 3D 高斯散射方法在动态场景重建中，实时渲染速度和质量优于现有方法。此外，一种从 3D 高斯散点图中提取网格的方法，通过正则项鼓励高斯与场景表面对齐，再利用 Poisson 重建快速提取网格，避免了 Marching Cubes 的耗时问题。该方法能在几分钟内获得可编辑网格，而基于神经隐式函数的方法需要数小时，且渲染质量更好。
效率优化与 SLAM 应用
在效率方面，4D-GS 通过变形场模拟高斯运动，实现了 70 FPS 的实时渲染；紧凑表示方法将高斯参数组织成二维网格，大幅降低存储需求而不影响视觉质量。GS-SLAM 首次在 SLAM 中使用 3D 高斯表示，通过自适应扩张策略和从粗到细的位姿跟踪，在 Replica 和 TUM-RGBD 数据集上取得了有竞争力的性能，平衡了效率和准确性。
Q&A
3D高斯喷洒（3DGS）是什么？它和NeRF相比有什么优势？
3D高斯喷洒是一种使用显式高斯分布表示场景的三维渲染技术，训练速度快且支持实时渲染。与NeRF相比，3DGS在训练和推理时间上更高效，能够实现实时渲染。
GaMeS模型是如何工作的？它解决了3DGS的什么问题？
GaMeS（高斯网格喷洒）是网格和高斯分布的混合形式，将高斯喷洒固定在物体表面（网格）上。它解决了3DGS缺乏对条件明确定义的问题，因为需要对几十万个高斯分量进行条件建模。通过仅根据高斯在网格上的位置来定义，允许在动画过程中自动调整位置、比例和旋转，从而实现实时高质量渲染。
如何从3D高斯散点图中提取网格？
首先引入一个鼓励高斯散点图与场景表面对齐的正则项，然后利用此对齐性通过Poisson重建方法从高斯散点图中提取网格。该方法快速、可扩展且能保留细节信息，与通常用于从神经隐式函数中提取网格的Marching Cubes算法形成对比。
4D高斯喷洒（4D-GS）在动态场景渲染中表现如何？
4D-GS通过构建有效的变形场来模拟高斯运动和形状变形，实现了高分辨率下的实时渲染，在保持与先前最新技术方法相当或更高质量的同时达到了70 FPS。
GS-SLAM算法在SLAM系统中有什么创新？
GS-SLAM首次在SLAM系统中使用3D高斯表示方法，实现了效率和准确性之间的更好平衡。它采用实时可微分雀斑光照渲染流水线，大大加速了地图优化和RGB-D重渲染。具体而言，提出自适应扩张策略，通过添加新的或删除噪音3D高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的3D高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。
3D高斯喷洒的紧凑表示方法是如何降低存储需求的？
紧凑的场景表示方法将三维高斯扩散模型的参数组织成具有局部均匀性的二维网格，从而实现了存储需求的大幅度降低，同时在渲染过程中不影响视觉质量。
