Sculpt3D:多视角一致的基于稀疏三维先验的文本生成 3D

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

Instant3D是一种新颖的方法,通过两阶段的方式从文本提示中生成高质量、多样化的3D资产。它使用2D文本到图像扩散模型生成稀疏一致的四个结构化视图,然后利用基于Transformer的稀疏视图重构器回归生成的图像的NeRF。实验证明,Instant3D可以在20秒内生成高质量、多样化且无Janus问题的3D资产,比之前的基于优化的方法快两个数量级。

🎯

关键要点

  • Instant3D是一种新颖的方法,通过两阶段的方式生成3D资产。
  • 第一阶段使用精调的2D文本到图像扩散模型生成稀疏一致的四个结构化视图。
  • 第二阶段利用基于Transformer的稀疏视图重构器回归生成的图像的NeRF。
  • 实验证明,Instant3D可以在20秒内生成高质量、多样化且无Janus问题的3D资产。
  • Instant3D的生成速度比之前的基于优化的方法快两个数量级,后者需要1到10小时。
➡️

继续阅读