PolyOculus:多视角基于图像的新视图综合
原文中文,约400字,阅读约需1分钟。发表于: 。基于已知视图的创新视图综合的问题,我们提出了一种基于集合的生成模型,可以同时生成多个自洽的新视图,不仅限于生成单个图像,而且可以根据零个、一个或多个视图进行条件生成,可在大量视图生成中保持图像质量,并在像循环和双目轨迹等任务上显著优于其他方法。
本文介绍了一种用于野外场景下的单图像新视图合成的三维感知扩散模型ZeroNVS。通过训练生成式先验模型和提出新的相机条件参数化和归一化方案,解决了多物体场景和复杂背景带来的挑战。同时,通过改进Score Distillation Sampling(SDS)和提出“SDS anchoring”,改善了合成新视图的多样性。该模型在DTU数据集的零样本设置中表现出优势,并在Mip-NeRF 360数据集上展现了强大的性能。