Dual3D: 双模多视角潜在扩散下高效一致的文本到 3D 生成
内容提要
本文提出了一种名为Instant3D的高效文本到3D生成方法，利用预训练的文本到图像扩散模型，在消费级显卡上仅需约8毫秒生成高质量、多样化的3D资产，显著提高了生成速度和视觉质量，无需3D训练数据。
延伸解读
两阶段生成流程解析
Instant3D采用两阶段方法：首先生成稀疏一致的四个结构化视图，然后通过基于Transformer的稀疏视图重构器直接回归NeRF。这种设计避免了传统优化方法中耗时的逐场景优化，实现了前馈生成，在20秒内即可产出3D资产，比基于优化的方法快两个数量级。
速度与质量的双重提升
在消费级显卡上，Instant3D仅需约8毫秒即可生成一个3D资产，且无需3D训练数据。实验表明，其生成结果在视觉质量上也有显著提升，FID降低30%，KID降低37%，同时有效缓解了Janus问题（多头效应），保证了多视角一致性。
技术原理与创新点
该方法利用预训练的文本到图像扩散模型作为监督信号，通过整合3D体渲染和跨帧注意力层到U-Net的每个块中，设计出自回归生成方法。这种设计使得模型能够从真实世界数据中生成多视角一致的图像，为文本到3D生成提供了新的替代方案。
Q&A
Instant3D的主要特点是什么？
Instant3D是一种高效的文本到3D生成方法，能够在消费级显卡上仅需约8毫秒生成高质量、多样化的3D资产，无需3D训练数据。
Instant3D是如何生成3D资产的？
Instant3D通过两阶段的方法，首先生成稀疏一致的四个结构化视图，然后利用基于Transformer的稀疏视图重构器生成3D图像。
与传统方法相比，Instant3D的优势是什么？
Instant3D的生成速度快两个数量级，能够在20秒内生成3D资产，而传统方法通常需要1到10小时。
Instant3D如何提升3D图像的一致性和视觉质量？
Instant3D通过整合3D体渲染和跨帧注意力层，设计出自回归生成方法，从而提升了3D图像的一致性和视觉质量。
Instant3D是否需要3D训练数据？
不需要，Instant3D利用预训练的文本到图像扩散模型生成3D资产，无需3D训练数据。
Instant3D的生成速度有多快？
Instant3D在消费级显卡上仅需约8毫秒生成3D资产，整体生成过程在20秒内完成。
