MagicDrive: 带有多样化三维几何控制的街景生成
原文中文,约500字,阅读约需2分钟。发表于: 。MagicDrive 是一种新颖的街景生成框架,通过定制的编码策略实现了包括相机姿态、道路地图和三维边界框在内的多样化三维几何控制,并采用交叉视图注意模块确保多个相机视图之间的一致性,从而实现了高保真的街景综合,捕捉了细腻的三维几何和各种场景描述,增强了 BEV 分割和三维物体检测等任务。
该文介绍了一种名为BEVControl的两阶段生成方法,支持手绘风格的输入,可以生成准确的前景和背景内容。实验表明,BEVControl在前景分割mIoU上比现有方法BEVGen有显着提升,从5.89到26.80。使用BEVControl生成的图像来训练下游感知模型,平均NDS分数提高了1.29。