GauU-Scene: 使用高斯喷洒技术的大规模三维重构数据集上的场景重建基准测试
内容提要
3D高斯泼溅技术已成为三维重建与SLAM领域热点，被用于稠密SLAM实现实时重建与渲染，并提出GS-SLAM算法平衡效率与精度，同时应用于单目物体重建、动态场景建模和网格提取。该技术渲染快、训练快、可编辑性强，正推动下一代三维重建变革。
延伸解读
3D高斯泼溅在SLAM中的突破
文章介绍了GS-SLAM，这是首个在SLAM系统中使用3D高斯表示的方法。它通过实时可微分渲染流水线加速地图优化和RGB-D重渲染，并采用自适应扩张策略添加或删除高斯以重建场景几何。在位姿跟踪中，从粗到细的技术选择可靠高斯优化相机姿态，减少运行时间。在Replica和TUM-RGBD数据集上，GS-SLAM实现了与最新实时方法有竞争力的性能。
单目重建与动态场景建模的进展
Splatter Image将高斯泼溅应用于单目三维物体重建，运行速度达38帧/秒，仅需前馈评估神经网络。它使用二维图像到图像网络将输入映射到每个像素的三维高斯，渲染速度达588帧/秒，在PSNR和LPIPS等指标上优于更昂贵的基线。此外，基于4D基元的方法优化动态场景的时空体积，适用于复杂运动，在多个基准数据集上展示了优秀视觉质量和高效性。
网格提取与编辑的实用优势
文章提出从3D高斯散点图中快速提取网格的方法。通过引入正则项鼓励高斯与场景表面对齐，然后利用Poisson重建提取网格，该方法快速、可扩展且保留细节，与Marching Cubes形成对比。可选优化策略将高斯与网格表面绑定，使得在传统软件中通过操纵网格实现编辑、雕刻、绑定和动画。与神经隐式方法相比，可在几分钟内获取可编辑网格，而非数小时，且渲染质量更好。
Q&A
GS-SLAM 是什么？它有什么特点？
GS-SLAM 是一种在同时定位与地图构建（SLAM）系统中首次使用 3D 高斯表示方法的算法，实现了效率和准确性之间的更好平衡。它采用实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。
3D高斯泼溅技术有哪些优势？
3D高斯泼溅技术具有实时渲染、快速训练、可编辑性强等优势，通过显式场景表示和可微分渲染算法，为下一代3D重建和表示技术带来了潜在的变革。
Splatter Image 方法是如何实现单目三维物体重建的？
Splatter Image 使用一个二维图像到图像的网络将输入图像映射到每个像素点上的一个三维高斯，从而得到 Splatter Image 形式的高斯表示。它基于学习，测试时只需前馈评估一个神经网络即可完成重建，运行速度达到每秒38帧。
如何从3D高斯散点图中提取网格？
首先引入一个鼓励高斯散点图与场景表面对齐的正则项，然后利用此对齐性通过 Poisson 重建方法从高斯散点图中提取网格。该方法快速、可扩展且能保留细节信息，与通常用于从神经隐式函数中提取网格的 Marching Cubes 算法形成对比。
3D高斯泼溅技术可以应用于哪些领域？
3D高斯泼溅技术可应用于稠密SLAM实现实时重建与渲染、单目物体重建、动态场景建模和网格提取等领域。
GS-SLAM 在哪些数据集上进行了评估？性能如何？
GS-SLAM 在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。
