泛影:面向自动驾驶的全景和可控视频生成
原文中文,约500字,阅读约需2分钟。发表于: 。本文介绍了 Panacea,一种创新方法,用于在驾驶场景中生成全景和可控的视频,生成无限多样化的、关键的自动驾驶样本,从而提高自动驾驶技术的先进性。Panacea 通过整合一种新颖的 4D 注意力和两阶段的生成流程来保持一致性,并利用 Bird's-Eye-View(BEV)布局的 ControlNet 框架实现精确控制。对 Panacea 在 nuScenes...
该研究提出了一种名为BEVControl的两阶段生成方法,用于提升自动驾驶系统中合成图像的质量。该方法能够生成准确的前景和背景内容,并支持手绘风格的输入。通过实验证明BEVControl在前景分割上比现有方法有显著提升,并证明使用BEVControl生成的图像来训练感知模型能够提高平均NDS分数。