VastGaussian：大场景重建的巨大 3D 高斯
内容提要
3D高斯泼溅技术用高斯函数表示场景并优化参数，实现1080p实时新视图合成，后续扩展至动态场景重建、网格提取、大规模场景基准测试、SLAM及紧凑存储等领域，在渲染速度与质量上优于NeRF，并支持编辑与动画制作。
延伸解读
3D高斯泼溅的技术优势
3D高斯泼溅使用高斯函数表示场景，通过优化参数实现1080p实时新视图合成，渲染速度超过30帧/秒。与NeRF相比，它在训练速度和渲染质量上更优，且支持编辑与动画制作。这种显式表示避免了神经网络依赖，为实时应用提供了新可能。
动态场景与网格提取的扩展
3D高斯泼溅已扩展至动态场景重建，使用可变形的3D高斯散射方法，在实时渲染速度和质量上优于现有方法。同时，通过正则项鼓励高斯与场景表面对齐，可利用Poisson重建快速提取网格，比传统Marching Cubes更高效，并支持在传统软件中编辑和动画制作。
大规模场景重建与基准测试
针对大规模场景，研究者引入了U-Scene基准数据集，覆盖超过1.5平方公里，包含RGB和LiDAR数据，使用Matrix 300无人机采集。该数据集结合城市与学术环境，用于评估高斯泼溅等新表示方法，并强调多模态信息结合的重要性。
存储优化与紧凑表示
为降低存储需求，研究者提出多种紧凑表示方法。例如，通过学习性掩码和向量量化减少高斯点数量；或将高斯参数组织成局部均匀的2D网格，大幅降低存储而不影响视觉质量。这些进展使3D高斯泼溅更适用于实际部署。
Q&A
3D高斯泼溅技术的基本原理是什么？
3D高斯泼溅使用3D高斯函数表示场景，通过优化高斯函数的相关参数来准确表示场景，并开发了快速的可见性感知渲染算法，从而实现高质量的实时（≥30帧/秒）1080p分辨率的新视图合成。
3D高斯泼溅相比NeRF有哪些优势？
3D高斯泼溅在渲染速度和训练速度上优于NeRF，且不依赖神经网络，提供明确的场景表示。例如，从高斯散点图中提取网格只需几分钟，而基于神经隐式函数的方法需要数小时，同时渲染质量更好。
如何从3D高斯散点图中提取可编辑的网格？
首先引入正则项鼓励高斯散点图与场景表面对齐，然后利用该对齐性通过Poisson重建方法提取网格，该方法快速、可扩展且保留细节。最后可选优化策略将高斯散点图与网格表面绑定，便于在传统软件中编辑、雕刻、绑定、动画制作等。
3D高斯泼溅在动态场景重建方面有什么进展？
2023年8月提出了使用可变形的3D高斯散射方法对动态场景进行重建和渲染，在实时渲染速度和渲染质量方面优于现有方法。
U-Scene数据集是什么？它用于什么目的？
U-Scene是一个大规模场景重建基准测试数据集，覆盖超过1.5平方公里，包含综合RGB数据集和LiDAR地面真实数据，使用Matrix 300无人机和Zenmuse L1 LiDAR采集。它用于评估3D高斯泼溅等新表示方法，提供城市和学术环境的结合，用于高级空间分析。
3D高斯泼溅如何实现紧凑存储和实时渲染？
通过学习性掩码策略和向量量化减少高斯点数量和存储空间；或将三维高斯扩散模型的参数组织成具有局部均匀性的二维网格，大幅降低存储需求而不影响视觉质量，从而实现高性能、快速训练、紧凑且实时的渲染。
