Panacea+: 自主驾驶的全景可控视频生成

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文介绍了Delphi,一种基于扩散的长视频生成方法,通过共享噪声建模和特征对齐模块提高空间和时间一致性。实验证明Delphi在驾驶规划中生成更高质量的长视频,提升了自动驾驶模型的规划性能25%。

🎯

关键要点

  • Delphi是一种基于扩散的长视频生成方法,旨在解决自动驾驶中的数据稀缺问题。
  • 现有方法在提高感知模型方面有效,但未能提升端到端自动驾驶模型的规划性能。
  • Delphi通过共享噪声建模机制提高空间一致性,并引入特征对齐模块实现时间一致性。
  • Delphi最多可生成40帧的视频,保持一致性,是现有方法的5倍。
  • 通过构建失败案例驱动框架,Delphi能够生成类似失败案例的新数据,提高样本效率。
  • 实验证明Delphi在驾驶规划中生成更高质量的长视频,超越现有最先进的方法。
  • Delphi仅使用训练数据集的4%,即可将自动驾驶模型的规划性能提升25%。
➡️

继续阅读