ReconX:利用视频扩散模型从稀疏视图重建任意场景

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文介绍了使用潜在扩散模型(LDM)解决360度3D场景的稀疏视图重建问题。通过迭代更新策略,融合伪新视图和初始稀疏输入的3D高斯模型,实现了具有上下文的细节的多视图场景表示。评估结果表明,该方法在360度场景重建方面优于现有的稀疏视图重建方法。

🎯

关键要点

  • 使用潜在扩散模型(LDM)解决360度3D场景的稀疏视图重建问题。
  • 通过预训练的2D扩散模型进行精细调整,提出SparseSplat360(Sp2360)方法。
  • 该方法通过级联修补和伪影移除模型填补缺失细节并清除新视图。
  • 提出迭代更新策略,将伪新视图与初始稀疏输入的3D高斯模型融合。
  • 在Mip-NeRF360数据集上的评估结果显示,该方法显著改善了3DGS的性能。
  • 在360度场景重建方面,该方法优于现有的稀疏视图重建方法。
  • 定性结果表明,仅用9个输入视图即可生成完整的360度场景。
➡️

继续阅读