MagicDrive3D: 街景中任意视角渲染的可控 3D 生成

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

介绍了BEVControl的两阶段生成方法,提升感知模型性能,生成准确的前景和背景内容,支持手绘风格输入。通过实验证明BEVControl在前景分割上有显著提升,使用BEVControl生成图像训练感知模型可提高平均NDS分数。

🎯

关键要点

  • 使用合成图像提升感知模型性能是计算机视觉中的研究挑战。
  • 在自动驾驶系统中,多视角摄像头的视觉问题更加突出,尤其是长尾场景的收集困难。
  • 现有生成网络在场景级度量下能合成逼真的街景图像,但在放大时前景和背景细节常常不准确。
  • 提出了BEVControl的两阶段生成方法,能够生成准确的前景和背景内容,并支持手绘风格输入。
  • BEVControl提供了全面的多级评估协议,用于公平比较生成场景的质量。
  • 实验表明,BEVControl在前景分割mIoU上显著提升,从5.89提高到26.80。
  • 使用BEVControl生成的图像训练感知模型,平均NDS分数提高了1.29。
➡️

继续阅读