MagicDrive3D: 街景中任意视角渲染的可控 3D 生成
原文中文,约500字,阅读约需2分钟。发表于: 。我们引入了 MagicDrive3D,这是一种创新的管道,用于可控的 3D 街道场景生成,支持多条件控制,包括 BEV 地图、3D 对象和文本描述。与先前的方法不同的是,MagicDrive3D 首先训练视频生成模型,然后再进行重建,从而实现了易于控制的生成和静态场景获取,从而实现了高质量的场景重建。通过对 nuScenes 数据集的验证,MagicDrive3D 生成了多样化、高质量的...
介绍了BEVControl的两阶段生成方法,提升感知模型性能,生成准确的前景和背景内容,支持手绘风格输入。通过实验证明BEVControl在前景分割上有显著提升,使用BEVControl生成图像训练感知模型可提高平均NDS分数。