ZeroComp:通过扩散从图像内部特征实现零-shot物体合成

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

我们推出了ZeroNVS,一种用于单图像新视图合成的3D感知扩散模型。通过生成式先验模型解决多物体和复杂背景的问题,采用相机条件参数化和归一化方案来解决深度尺度的二义性。改进SDS方法以增强新视图的多样性。模型在DTU数据集上表现出色,甚至超过了一些专门训练的方法,并在Mip-NeRF 360数据集上展示了强大性能。

🎯

关键要点

  • 推出了ZeroNVS,一种用于单图像新视图合成的3D感知扩散模型。

  • 通过生成式先验模型解决多物体和复杂背景的问题。

  • 采用新颖的相机条件参数化和归一化方案,解决深度尺度的二义性。

  • 改进SDS方法以增强新视图的多样性,提出了“SDS anchoring”。

  • 模型在DTU数据集上表现出色,取得新的LPIPS优势,超越专门训练的方法。

  • 在Mip-NeRF 360数据集上展示了强大性能,调整为单图像新视图合成的新基准。

➡️

继续阅读