360-GS：基于布局引导的室内漫游全景高斯喷洒
内容提要
本文综述3D高斯喷洒（3DGS）技术进展，涵盖GS-SLAM、4D-GS、Scaffold-GS、GS-IR、GPS-Gaussian等，用于实时重建、SLAM与逆向渲染，在精度与效率上优于NeRF，并指出未来方向。
延伸解读
3DGS 相比 NeRF 的效率优势
文章指出，3D 高斯喷洒（3DGS）在精度与效率上优于 NeRF，例如在 MipNeRF-360 数据集上，基于 3DGS 的方法以更少的训练和推理成本超过了基本 3DGS 的 30.5% 和基于 NeRF 方法的 15.6%。这得益于其显式场景表示和可微分渲染算法，能够实现实时渲染，为 3D 重建带来变革。
3DGS 在 SLAM 中的集成与优化
GS-SLAM 首次将 3D 高斯表示用于 SLAM，通过实时可微分渲染流水线加速地图优化和 RGB-D 重渲染。其自适应扩张策略能添加或删除高斯以重构新观测区域，并从粗到细选择可靠高斯优化相机姿态，在 Replica 和 TUM-RGBD 数据集上达到有竞争力的性能。
动态场景与逆向渲染的扩展
4D-GS 通过变形场模拟高斯运动，实现动态场景高分辨率实时渲染，达到 70 FPS。GS-IR 则利用 3D 高斯进行逆向渲染，从多视图图像估计几何、材质和光照，通过深度法线正则化和烘焙遮挡模拟间接光照，克服了 NeRF 在表达能力和计算复杂性上的问题。
稀疏视图与实时新视角合成
GPS-Gaussian 通过定义高斯参数图并直接回归属性，无需微调即可从稀疏视图实时合成 2K 分辨率的新视图，在多个数据集上优于最先进方法。这表明 3DGS 在稀疏输入下具有高效的新视角合成能力，为实时应用提供了可能。
Q&A
3D高斯喷洒（3DGS）是什么？它有什么优势？
3D高斯喷洒是一种能够实时渲染的、可控且可编辑的3D重建和表示方法，通过显式场景表示和可微分的渲染算法，提供了独特的优势，为下一代3D重建和表示技术带来了潜在的变革。
GS-SLAM在SLAM系统中有什么创新？
GS-SLAM首次在SLAM系统中使用3D高斯表示方法，实现了效率和准确性之间的更好平衡。它采用实时可微分雀斑光照渲染流水线，加速了地图优化和RGB-D重渲染。具体创新包括：自适应扩张策略，通过添加或删除噪音3D高斯来重构新观测场景并改善建图；在位姿跟踪中，设计从粗到细的技术选择可靠的3D高斯表示来优化相机姿态，减少运行时间并实现强健估计。
4D高斯喷洒（4D-GS）如何表示动态场景？
4D高斯喷洒通过构建有效的变形场来模拟高斯运动和形状变形，以高效率表示和呈现动态场景，实现了高分辨率下的实时渲染，并且在保持与先前最新技术方法相当或更高质量的同时达到了70 FPS。
Scaffold-GS方法如何减少冗余的高斯？
Scaffold-GS方法使用锚点在视场内基于视线方向和距离动态分布局部的3D高斯，有效地减少冗余的高斯，同时能够实现高质量渲染。
GS-IR在逆向渲染中有什么贡献？
GS-IR是一种基于3D高斯零碎描绘的新型逆向渲染方法，利用前向映射体积渲染实现逼真的新视角合成和重新照明结果。它通过引入基于深度推导的法线估计的正则化和基于烘焙的遮挡来模拟间接光照，提出了一个高效的优化方案，解决了GS引入逆向渲染时遇到的问题。灵活且具有表现力的GS表示使其能够实现快速紧凑的几何重建、逼真的新视角合成和有效的基于物理的渲染。
GPS-Gaussian如何实现实时新视图合成？
GPS-Gaussian通过在源视图上定义高斯参数图并直接回归高斯喷洒属性，无需任何微调或优化即可实现即时的新视图合成。它使用大量人体扫描数据训练高斯参数回归模块，同时使用深度估计模块将2D参数图转化为3D空间。实验结果表明，该方法在几个数据集上优于最先进的方法，同时实现了非凡的渲染速度，能够以稀疏视图相机设置进行2K分辨率渲染。
