利用高斯光疙瘩从单目视频中进行自校准的 4D 新视图合成
内容提要
本文探讨了4D高斯喷洒在动态场景重建中的应用，提出了FSGS和Endo-4DGS等新方法，以提高视角合成和渲染效率。这些方法结合深度估计和几何特征，显著提升了动态视图合成和手术场景重建的准确性与实时性，展现了在自动驾驶和微创手术中的应用潜力。
延伸解读
4D高斯喷洒的技术演进脉络
文章按时间顺序梳理了2023至2024年4D高斯喷洒相关研究的进展。从2023年10月基于高斯点渲染的表面重构，到11月无需SfM预处理的新视角合成，再到12月FSGS实现实时逼真合成，以及2024年1月优化4D基元、4月几何感知变形、5月HDR-GS和Endo-4DGS等，呈现出该领域从静态到动态、从通用场景到专业应用的快速迭代趋势。
动态场景重建中的深度估计整合
多篇工作强调深度估计对提升重建质量的作用。FSGS整合大规模预训练单眼深度估计器引导几何优化；Endo-4DGS则利用Depth-Anything生成伪深度图，无需真实深度数据。这种结合深度先验的策略，有助于在稀疏视角或复杂动态下减少背景折叠和浮点值，增强未见视角的一致性，是当前提升4D重建鲁棒性的常见思路。
从通用渲染到专业场景的落地潜力
文章不仅讨论通用动态视图合成，还展示了在自动驾驶模拟和机器人辅助微创手术等专业领域的应用。例如，Endo-4DGS针对内窥镜场景实现实时动态重建，旨在改善手术结果；而结合扩散模型和多模态数据的方法则用于增强自动驾驶街景合成。这些案例表明，4D高斯喷洒正从实验室走向对实时性和准确性要求更高的实际场景。
效率与质量的权衡表现
多个方法在效率上取得显著优势。FSGS在LLFF、Mip-NeRF360等数据集上实现最先进性能，兼顾准确性和渲染效率；HDR-GS在LDR和HDR新视角合成上分别超过NeRF方法3.84和1.91 dB，同时推理速度提升1000倍，训练时间仅需6.3%；Endo-4DGS也强调实时渲染和高效计算。这些数据表明，4D高斯喷洒在保持高质量的同时，正大幅降低计算成本。
Q&A
什么是4D高斯喷洒，它的主要应用是什么？
4D高斯喷洒是一种通过时间切片和投影技术建模动态场景的方法，主要应用于动态视图合成和渲染，提升实时渲染效果和效率。
FSGS方法如何提高视角合成的准确性和效率？
FSGS方法通过高效合成视图，整合深度估计，利用高斯解卷积处理稀疏初始化的SfM点，从而实现实时和照片般逼真的视角合成。
Endo-4DGS方法在微创手术中有什么优势？
Endo-4DGS方法通过实时动态重建提升手术结果，能够在无需地面真实深度数据的情况下有效重建动态手术场景，展现了在手术辅助中的潜力。
HDR-GS框架的主要功能是什么？
HDR-GS框架能够有效渲染高动态范围（HDR）视图和重建低动态范围（LDR）图像，具有显著的推理速度和训练时间优势。
如何通过优化4D基元重建动态3D场景？
通过优化一组4D基元的方法，可以近似表示动态场景的底层时空4D体积，从而生成多样的视角，适用于捕捉复杂动态场景运动。
本文中提到的3DGS辐射场方法有什么优势？
3DGS辐射场方法通过集成深度先验和显式约束，减少背景折叠和浮点值，增强未见视角一致性，实验证明其在训练和推理成本上优于传统方法。
