IM-3D：迭代多视图扩散与重建的高质量 3D 生成
内容提要
该文综述文本到3D生成技术进展：利用预训练2D扩散模型作监督，无需3D训练数据，可在消费级显卡上快速生成3D资产。方法包括多视角扩散、稀疏视图重建、混合得分蒸馏及双向扩散框架等，将生成时间从数小时缩短至数秒至20分钟，并提升质量、多样性与一致性，克服双面等问题。
延伸解读
技术路径：从2D扩散到3D生成
文章综述了文本到3D生成的技术进展，核心思路是利用预训练的2D扩散模型作为监督信号，无需3D训练数据。方法包括多视角扩散、稀疏视图重建、混合得分蒸馏及双向扩散框架等。这些技术将生成时间从数小时缩短至数秒至20分钟，并提升了质量、多样性与一致性，克服了双面等问题。
效率突破：消费级显卡上的快速生成
通过提炼预训练图像扩散模型，文本到3D生成在消费级显卡上仅需约8毫秒即可生成3D资产。Instant3D方法采用两阶段策略，先生成稀疏一致的四个视图，再通过Transformer重构NeRF，20秒内生成高质量、多样化的3D资产，比基于优化的方法快两个数量级。
质量提升：克服双面问题与增强一致性
BoostDream作为插件式3D细化方法，通过3D模型蒸馏、多视角SDS损失设计以及提示和多视角一致的法线图指导，将粗糙3D资产转化为高质量资产，克服了双面问题。双向扩散框架整合3D和2D扩散过程，保持3D真实性和2D纹理丰富性，通过双向引导提高一致性，将生成时间从3.4小时减少到20分钟。
Q&A
IM-3D 是什么？它主要解决什么问题？
IM-3D 是一种利用迭代多视图扩散与重建的高质量 3D 生成方法。它通过预训练 2D 扩散模型作为监督信号，无需 3D 训练数据，在消费级显卡上快速生成 3D 资产，解决了传统方法生成速度慢、质量低的问题。
IM-3D 生成 3D 资产的速度有多快？
IM-3D 可以在消费级显卡上仅需约 8 毫秒生成一个 3D 资产，而其他方法如 Instant3D 需要 20 秒，双向扩散框架需要 20 分钟，相比传统基于优化的方法（1 到 10 小时）快两个数量级。
IM-3D 如何避免双面（Janus）问题？
IM-3D 通过使用多视角扩散和稀疏视图重建，以及混合得分蒸馏和双向扩散框架，提高了多视图一致性，从而克服了双面问题，生成高质量、多样化的 3D 资产。
IM-3D 需要 3D 训练数据吗？
不需要。IM-3D 利用预训练的 2D 扩散模型作为监督信号，无需任何 3D 训练数据即可生成 3D 资产。
IM-3D 的核心技术组件有哪些？
IM-3D 的核心技术包括多视角扩散、稀疏视图重建、混合得分蒸馏（SDS）、双向扩散框架（BiDiff）以及基于 Transformer 的稀疏视图重构器等。
IM-3D 在消费级显卡上的表现如何？
IM-3D 在消费级显卡上仅需约 8 毫秒即可根据文本提示生成一个 3D 资产，实现了高效生成。
