Free3D: 无需 3D 表示的一致新视角合成
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
本文介绍了一种用于野外场景下的三维感知扩散模型ZeroNVS,解决了多物体场景和复杂背景带来的挑战。该模型在DTU数据集和Mip-NeRF 360数据集上表现出强大的性能。
🎯
关键要点
- 引入三维感知扩散模型ZeroNVS,用于野外场景下的单图像新视图合成。
- 通过训练生成式先验模型,解决多物体场景和复杂背景的挑战。
- 提出新颖的相机条件参数化和归一化方案,解决深度尺度的二义性问题。
- 注意到Score Distillation Sampling(SDS)在蒸馏360度场景时的分布截断问题,提出“SDS anchoring”以改善多样性。
- 在DTU数据集的零样本设置中,模型取得新的LPIPS优势,优于专门训练的方法。
- 在Mip-NeRF 360数据集上调整为单图像新视图合成的新基准,展现强大性能。
➡️