MVD-Fusion: 单视角 3D 通过深度一致的多视角生成

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本研究提出了一种名为MVDiffusion++的神经架构,用于3D物体重建。该架构通过图像生成物体的密集高分辨率视图,实现了3D一致性和密集高分辨率视图合成。实验证明MVDiffusion++在新视图合成和3D重建方面优于当前技术水平。该架构还可应用于文本到3D的生成模型。

🎯

关键要点

  • 本研究提出了一种名为MVDiffusion++的神经架构,用于3D物体重建。

  • MVDiffusion++通过一张或几张图像生成物体的密集高分辨率视图。

  • 该架构采用了“无姿态架构”,无需使用相机姿态信息,实现3D一致性。

  • 使用“视图丢弃策略”减少训练时的内存占用,并在测试时实现密集高分辨率视图合成。

  • 研究使用Objaverse进行训练,并使用Google扫描的物体进行评估。

  • MVDiffusion++在新视图合成和3D重建方面显著优于当前技术水平。

  • 该架构还可与文本到图像生成模型结合,展示文本到3D的应用示例。

➡️

继续阅读