用 3DGS 照亮每个黑暗：快速训练和实时渲染用于 HDR 视图合成
内容提要
本文提出了一种基于3D高斯喷洒（3DGS）的方法，通过深度先验和显式约束提高渲染一致性，显著提升训练效率和渲染质量。该方法在多个数据集上超越了现有技术，适用于新视角合成和动态建图，具有更高的速度和更低的内存使用。
延伸解读
深度先验与显式约束如何提升3DGS一致性
文章指出，仅用稀疏训练视角训练3DGS容易导致背景折叠和浮点伪影。该方法通过集成深度先验、生成和显式约束，减少了这些不一致现象，并增强了未见视角的渲染一致性。在MipNeRF-360数据集上，其训练和推理成本低于基本3DGS和基于NeRF的方法，同时渲染质量更高。这表明，在数据有限时，引入几何先验和约束是提升3DGS鲁棒性的有效途径。
HDR-GS框架：高动态范围渲染的效率突破
针对高动态范围视图合成，文章提出了HDR-GS框架，使用高动态范围高斯点云模型和MLP调制，并通过两个并行可微光栅化过程分别重建HDR和LDR视图。实验显示，该方法在LDR和HDR新视角合成上分别超过现有NeRF方法3.84 dB和1.91 dB，同时推理速度提升1000倍，训练时间仅需6.3%。这意味着3DGS在HDR场景中不仅能保证质量，还能大幅降低计算开销。
动态场景与表面重建的改进策略
对于动态场景，文章采用变形的MLP网络捕捉动态偏移的高斯点，并通过哈希编码和小型MLP表示颜色特征。同时，引入可学习的去噪掩模和去噪损失消除噪点，利用静态约束和运动一致性约束减轻运动噪声。这些措施在提升渲染质量和速度的同时，显著减少了3D-GS的内存使用，使其更适用于新视角合成和动态建图等任务。
3DGS与NeRF、SDF的融合趋势
文章展示了3DGS与NeRF-based 3D-aware GANs的结合，通过训练解码器将隐式NeRF表示映射到显式3DGS属性，首次将3D GANs的多样性和质量整合到3DGS生态中，并支持高分辨率GAN反演和实时编辑。此外，双分支结构GSDF将3DGS与神经符号距离场结合，通过相互指导和联合监督，提高了表面重建的准确性和细节，同时使3DGS渲染与底层几何更一致。这些融合方向有望进一步拓展3DGS的应用边界。
Q&A
3DGS方法如何提高渲染一致性？
3DGS方法通过集成深度先验和显式约束来提高渲染一致性，减少背景折叠和浮点值问题。
该方法在训练和推理成本上有什么优势？
该方法在MipNeRF-360数据集上以较少的训练和推理成本超越了基本的3DGS和基于NeRF的方法。
高动态范围高斯喷点（HDR-GS）框架的主要特点是什么？
HDR-GS框架使用高动态范围高斯点云模型和多层感知器调制，有效渲染HDR视图和重建LDR图像。
如何实现高质量的实时新视图合成？
通过使用3D高斯函数表示场景、优化相关参数和开发快速的可见性感知渲染算法来实现高质量的实时新视图合成。
该研究如何结合NeRF和3DGS的优点？
研究通过训练解码器将隐式的NeRF表示映射到显式的3D Gaussian Splatting属性，整合了两者的优势。
该方法在动态建图中的应用效果如何？
该方法显著提高了动态建图的渲染质量和速度，适用于新视角合成任务。
