PerlDiff: 使用透视布局扩散模型实现可控街景合成

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

介绍了BEVControl的两阶段生成方法,提升感知模型性能,支持手绘风格输入。使用多级评估协议比较生成质量。实验证明BEVControl在前景分割上有显著提升,使用BEVControl生成图像训练感知模型可提高NDS分数。

🎯

关键要点

  • 使用合成图像提升感知模型性能是计算机视觉中的研究挑战。
  • 在多视角摄像头的自动驾驶系统中,长尾场景的收集困难。
  • 提出了BEVControl的两阶段生成方法,能够生成准确的前景和背景内容。
  • BEVControl支持手绘风格输入,增加了人类编辑的灵活性。
  • 提出了全面的多级评估协议,以公平比较生成质量。
  • 实验表明,BEVControl在前景分割mIoU上显著提升,从5.89提高到26.80。
  • 使用BEVControl生成的图像训练感知模型,平均NDS分数提高了1.29。
➡️

继续阅读