Sculpt3D：多视角一致的基于稀疏三维先验的文本生成 3D
内容提要
本文介绍了Instant3D，一种新颖的3D资产生成方法，通过两阶段流程快速生成高质量、多样化的3D图像。该方法结合文本提示和稀疏视图重构技术，显著提高了生成效率，从1-10小时缩短至20秒，并在视觉质量上优于现有技术。
延伸解读
两阶段流程的效率突破
Instant3D 采用两阶段生成流程：先由精调的 2D 文本到图像扩散模型一次性生成四个稀疏但一致的视图，再通过基于 Transformer 的稀疏视图重构器直接回归 NeRF。这种前馈方式将生成时间从基于优化的 1 到 10 小时缩短至 20 秒，速度提升两个数量级，为文本到 3D 资产的快速生成提供了新思路。
稀疏视图一致性的关键作用
第一阶段生成的四个结构化视图必须保持稀疏一致性，这是后续重构高质量 3D 资产的基础。通过精调 2D 扩散模型，模型能够一次性输出多视角一致的图像，避免了逐视角生成可能带来的不一致问题，从而在第二阶段更准确地回归 NeRF，减少几何失真。
无 Janus 问题与视觉质量优势
实验表明，Instant3D 生成的 3D 资产无 Janus 问题（即多面体重复或视角冲突），且在视觉质量上优于现有技术。这得益于两阶段设计对多视角一致性的严格约束，以及 Transformer 重构器对稀疏视图的高效利用，使得生成的 3D 资产在多样性和真实性上均有提升。
Q&A
Instant3D 是什么？
Instant3D 是一种新颖的 3D 资产生成方法，通过两阶段流程结合文本提示和稀疏视图重构技术快速生成高质量的 3D 图像。
Instant3D 的生成效率如何？
Instant3D 将生成时间从 1-10 小时缩短至 20 秒，显著提高了生成效率。
Instant3D 的生成质量如何？
在视觉质量上，Instant3D 优于现有技术，生成的 3D 资产无 Janus 问题。
Instant3D 的两阶段流程是怎样的？
第一阶段使用精调的 2D 文本到图像扩散模型生成稀疏一致的四个结构化视图，第二阶段利用基于 Transformer 的稀疏视图重构器生成高质量的 3D 图像。
Instant3D 如何解决 Janus 问题？
Instant3D 生成的 3D 资产无 Janus 问题，表明其在视觉一致性方面表现良好。
Instant3D 的技术优势是什么？
Instant3D 结合了文本提示和稀疏视图重构技术，显著提高了生成效率和视觉质量，优于现有技术。
