LM-高斯：利用大型模型先验增强稀疏视图3D高斯绘制
内容提要
本文介绍了一种基于3D高斯分布的稀疏视角三维重建方法，提出了GaussianPro和GRM等新技术，显著提升了重建质量和效率。该模型结合深度学习和结构化高斯表示，在多个基准测试中表现优异，尤其在处理稀疏输入和噪声时展现出强大鲁棒性。
延伸解读
稀疏视角重建的挑战与应对
稀疏视角三维重建因输入视图稀少，常导致信息不足、背景折叠和浮点值等问题。本文提出的方法通过集成深度先验、生成和显式约束，有效减少了这些缺陷，并增强了未见视角的一致性。实验表明，在MipNeRF-360数据集上，该方法以较少的训练和推理成本，超越了基本3DGS的30.5%和基于NeRF方法的15.6%，为稀疏输入下的高质量重建提供了新思路。
GaussianPro与GRM：效率与质量的提升
GaussianPro通过渐进传播策略和块匹配技术指导3D高斯聚类的密度化，在大规模和小规模场景中均验证有效。GRM则是一个前馈变换器模型，能在约0.1秒内从稀疏视图图像恢复3D资产，将多视图信息高效结合，生成像素对齐的高斯分布。两者分别从优化策略和模型架构上提升了重建效率与质量，展示了稀疏视角重建的潜力。
MVSplat与SparseSplat360：快速推断与360度场景
MVSplat利用成本体积表示提供几何线索，仅依靠光度监督学习高斯属性，在RealEstate10K和ACID基准上以22帧/秒的速度实现最先进性能，参数比pixelSplat少10倍，推断快两倍。SparseSplat360则通过预训练2D扩散模型和迭代更新策略，从9个输入视图生成完整的360度场景，在Mip-NeRF360数据集上显著优于现有稀疏视图方法。
自增强高斯喷溅：鲁棒性与最先进性能
针对稀疏视角重建中信息不足和模型参数庞大的问题，自增强的粗到细高斯溅射策略结合结构感知掩膜，显著提升了模型对稀疏输入和噪声的鲁棒性。实验结果表明，该方法在稀疏输入视图下，感知质量和效率均达到最先进水平，尤其在处理稀少输入和噪声时表现强大，为稀疏视角重建提供了有效的解决方案。
Q&A
什么是GaussianPro方法，它的主要功能是什么？
GaussianPro方法通过渐进传播策略和块匹配技术指导3D高斯聚类的密度化，验证了其在大规模和小规模场景上的有效性。
GRM模型的特点是什么？
GRM是一个前馈变换器模型，能够在约0.1秒内从稀疏视图图像恢复3D资产，展示了高效的重构能力。
MVSplat模型如何实现高质量重构？
MVSplat模型通过稀疏多视图图像学习，利用成本体积表示提供几何线索，实现了快速推断和高质量重构。
SparseSplat360方法的优势是什么？
SparseSplat360方法通过预训练的2D扩散模型提高360度场景重建性能，能够生成完整的360度场景。
自增强的高斯喷溅方法如何提升模型的鲁棒性？
自增强的高斯喷溅方法结合结构感知掩膜，显著提升了模型对稀疏输入和噪声的鲁棒性。
本文讨论了哪些未来的研究方向？
文章讨论了未解决的挑战和未来的研究方向，强调了对算法进行全面研究的重要性。
