MagicDrive3D: 街景中任意视角渲染的可控 3D 生成
💡
原文中文,约500字,阅读约需2分钟。
📝
内容提要
介绍了BEVControl的两阶段生成方法,提升感知模型性能,生成准确的前景和背景内容,支持手绘风格输入。通过实验证明BEVControl在前景分割上有显著提升,使用BEVControl生成图像训练感知模型可提高平均NDS分数。
🎯
关键要点
- 使用合成图像提升感知模型性能是计算机视觉中的研究挑战。
- 在自动驾驶系统中,多视角摄像头的视觉问题更加突出,尤其是长尾场景的收集困难。
- 现有生成网络在场景级度量下能合成逼真的街景图像,但在放大时前景和背景细节常常不准确。
- 提出了BEVControl的两阶段生成方法,能够生成准确的前景和背景内容,并支持手绘风格输入。
- BEVControl提供了全面的多级评估协议,用于公平比较生成场景的质量。
- 实验表明,BEVControl在前景分割mIoU上显著提升,从5.89提高到26.80。
- 使用BEVControl生成的图像训练感知模型,平均NDS分数提高了1.29。
🏷️
标签
➡️