ReconX:利用视频扩散模型从稀疏视图重建任意场景
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
本文介绍了使用潜在扩散模型(LDM)解决360度3D场景的稀疏视图重建问题。通过迭代更新策略,融合伪新视图和初始稀疏输入的3D高斯模型,实现了具有上下文的细节的多视图场景表示。评估结果表明,该方法在360度场景重建方面优于现有的稀疏视图重建方法。
🎯
关键要点
- 使用潜在扩散模型(LDM)解决360度3D场景的稀疏视图重建问题。
- 通过预训练的2D扩散模型进行精细调整,提出SparseSplat360(Sp2360)方法。
- 该方法通过级联修补和伪影移除模型填补缺失细节并清除新视图。
- 提出迭代更新策略,将伪新视图与初始稀疏输入的3D高斯模型融合。
- 在Mip-NeRF360数据集上的评估结果显示,该方法显著改善了3DGS的性能。
- 在360度场景重建方面,该方法优于现有的稀疏视图重建方法。
- 定性结果表明,仅用9个输入视图即可生成完整的360度场景。
➡️