量子位
·
谢赛宁团队新作：不用提示词精准实现3D画面控制
内容提要
Blender Fusion框架结合图形工具与扩散模型，实现了对图像生成的精准控制。用户通过物体分层、Blender编辑和生成式合成，灵活操控图像中的物体，提升创作自由度，使AI图像合成更加直观，像搭积木一样编辑细节。
关键要点
-
Blender Fusion框架结合图形工具与扩散模型，实现精准的图像生成控制。
-
用户可以通过物体分层、Blender编辑和生成式合成灵活操控图像中的物体。
-
Blender Fusion的Pipeline包含三个步骤：物体分离、Blender编辑、扩散模型生成。
-
第一步是物体分层，利用视觉基础模型进行分割和深度估计。
-
第二步是基于Blender的编辑，进行物体和相机的多种操作。
-
第三步是生成式合成，使用扩散模型对结果进行视觉增强。
-
Blender Fusion引入双流扩散合成器，避免传统扩散模型的失真问题。
-
训练技巧包括源遮挡和模拟物体抖动，提升生成结果的真实感和一致性。
-
Blender Fusion在物体和相机操控的视觉生成中表现出色，保持一致性与连贯性。
-
用户可以灵活处理单幅图像和多图像场景，推广到未见过的物体和场景。
-
Blender Fusion为创作者提供了更大的自由度，像搭积木一样编辑细节。
延伸问答
Blender Fusion框架的主要功能是什么？
Blender Fusion框架结合图形工具与扩散模型，实现对图像生成的精准控制，用户可以灵活操控图像中的物体。
Blender Fusion的图像生成流程包括哪些步骤？
Blender Fusion的流程包括物体分层、Blender编辑和生成式合成三个步骤。
如何实现物体的分层和深度估计？
Blender Fusion利用Segment Anything Model进行物体分割，并用Depth Pro模型进行深度推断。
Blender Fusion如何避免传统扩散模型的失真问题？
Blender Fusion引入双流扩散合成器，通过对比原始输入场景和编辑后的图像，避免了重绘全图导致的失真。
Blender Fusion在多图像场景编辑中有什么优势？
Blender Fusion能够灵活组合不同图像中的物体，创建全新的场景，并保持空间关系和视觉连贯性。
Blender Fusion如何提升生成结果的真实感？
通过源遮挡和模拟物体抖动的训练技巧，Blender Fusion显著提升了生成结果的真实感和一致性。
