Diffusion$^2$: 通过正交扩散模型的得分组合生成动态 3D 内容
内容提要
本文介绍了一种名为MVDream的多视图扩散模型，该模型结合了动态3D网格和扩散模型的优势，能够根据文本提示生成几何一致的多视图图像。MVDream在3D生成方面表现优异，快速生成高质量的3D资源，并在个性化生成中保持一致性。通过微调和新颖的图像去噪架构，提升了生成效率和质量，解决了3D一致性问题，展示了在复杂场景中的应用潜力。
延伸解读
多视图扩散模型的核心优势
MVDream通过结合预训练图像扩散模型与多视图数据集，实现了2D扩散的概括性和3D数据的一致性。这种多视图扩散模型能够根据文本提示生成几何一致的多视图图像，作为3D生成的先验，通过Score Distillation Sampling解决了现有2D-lifting方法中的3D一致性问题，显著提高了生成稳定性。
个性化3D生成的可行性
MVDream在少量样本设置下可微调用于个性化3D生成，例如DreamBooth3D应用。在学习主体身份后，模型能够保持一致性，这为个性化3D内容创作提供了可能，用户仅需少量样本即可生成符合特定身份的3D资源。
前馈3D生成模型的突破
基于视频扩散模型构建的前馈3D生成模型，在近300万个合成多视图数据上训练，能够在几秒钟内从单张图像生成3D资源。与当前最先进的前馈3D生成模型相比，用户70%的时间更喜欢该模型的结果，展示了其高效性和高质量。
正交视图引导的高效生成
通过引入新的2D扩散模型生成四个正交视图子图像，并应用渐进式3D合成策略，显著提高了生成效率和质量，解决了Janus问题。这种方法在定量和定性评估中均表现出优越性，为高保真3D内容生成提供了有效途径。
Q&A
MVDream模型的主要功能是什么？
MVDream模型能够根据文本提示生成几何一致的多视图图像。
MVDream如何解决3D一致性问题？
MVDream通过Score Distillation Sampling解决现有2D-lifting方法中的3D一致性问题，从而提高稳定性。
MVDream在个性化生成方面的表现如何？
MVDream在个性化生成中表现出色，能够在少量样本下保持一致性。
MVDream模型的训练数据来源是什么？
MVDream模型使用在大规模Web数据集上预训练的图像扩散模型和从3D资源渲染的多视图数据集进行训练。
MVDream在复杂场景中的应用潜力如何？
MVDream在复杂场景中的应用潜力巨大，能够快速生成高质量的3D资源。
MVDream与现有3D生成模型相比有什么优势？
MVDream在与当前最先进的前馈3D生成模型相比，能够在更短时间内生成更高质量的3D资源，用户偏好度高达70%。
