Cascade-Zero123: 单幅图像到高度一致的 3D 图像的自提近景方法

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文介绍了一种用于野外场景下的单图像新视图合成的三维感知扩散模型ZeroNVS。通过训练生成式先验模型和提出新的相机条件参数化和归一化方案,解决了多物体场景和复杂背景带来的挑战。同时,通过引入“SDS anchoring”改善了合成新视图的多样性。该模型在DTU数据集和Mip-NeRF 360数据集上表现出优异的性能。

🎯

关键要点

  • 引入三维感知扩散模型ZeroNVS,用于野外场景下的单图像新视图合成。

  • 通过训练生成式先验模型,解决多物体场景和复杂背景的挑战。

  • 提出新颖的相机条件参数化和归一化方案,解决深度尺度的二义性问题。

  • 引入SDS anchoring以改善合成新视图的多样性。

  • 模型在DTU数据集的零样本设置中取得新的LPIPS优势,优于专门训练的方法。

  • 在Mip-NeRF 360数据集上展现出强大的性能,调整为单图像新视图合成的新基准。

➡️

继续阅读