BlockFusion：基于潜在的三平面外推的可扩展三维场景生成
内容提要
本文综述基于扩散模型的三维生成方法，涵盖神经场、三平面特征与潜在扩散等技术，可生成高质量、多样化的三维物体与场景，并支持单图重建、场景编辑及多模态输入，性能优于现有方法。
延伸解读
技术脉络：从神经场到三平面扩散
文章梳理了三维生成领域从神经场、三平面特征到潜在扩散模型的演进。早期方法如基于视图空间和潜在扩散的3D感知图像合成，无需多视角或3D几何监督；随后NeuralField-LDM等利用自动编码器和分层扩散生成复杂3D场景。这些进展为BlockFusion等基于三平面外推的可扩展场景生成奠定了基础。
关键突破：三平面表示与扩散模型结合
文章重点介绍了DiffTF和NeuralField-LDM等工作，它们将三平面表示与扩散模型结合，提升了生成对象的多样性和语义丰富度。DiffTF在ShapeNet和OmniObject3D上表现优异，NeuralField-LDM则能合成复杂3D环境并支持条件生成、修复和风格变化。这些方法通过压缩潜在空间和分层扩散，平衡了生成质量与效率。
应用前景：单图重建与多模态编辑
基于扩散的三维生成方法支持单张图像高效重建三维模型，如通过Transformer网络和Triplane-Gaussian中间表示，在渲染速度和质量上取得平衡。此外，多模态输入（如不完整形状、图像和文字）允许用户调整各输入的权重，实现交互式3D资产生成。这些能力为业余用户和内容创作提供了便利。
Q&A
BlockFusion 是什么？它主要解决什么问题？
BlockFusion 是一种基于潜在三平面外推的可扩展三维场景生成方法，旨在高效生成高质量、多样化的三维场景。
BlockFusion 使用了哪些关键技术？
BlockFusion 结合了扩散模型、神经场、三平面特征表示和潜在扩散等技术，通过将训练数据转换为连续占据场并分解为轴对齐的三面体特征表示，利用二维扩散模型进行训练。
BlockFusion 在三维场景生成方面有哪些优势？
BlockFusion 能够生成高质量和多样性的三维神经场，性能优于其他三维生成方法，并支持单图重建、场景编辑及多模态输入。
BlockFusion 支持哪些输入模态？
BlockFusion 支持多模态输入，包括单张图像、文本描述和不完整的形状等，并允许用户调整每个输入的强度。
BlockFusion 可以应用于哪些场景？
BlockFusion 可应用于单图三维重建、场景编辑、条件场景生成、场景修复和场景风格变化等三维内容创作领域。
BlockFusion 与其他三维生成方法相比有何不同？
BlockFusion 通过潜在三平面外推实现可扩展的三维场景生成，在生成质量、多样性和效率上优于其他方法，如基于三平面的扩散模型和神经场方法。
