GenDDS：利用提示生成视频的生成模型生成多样化的驾驶视频场景
内容提要
BDD100K是最大的驾驶视频数据集，支持自主驾驶算法评估。DriveSceneGen生成高保真动态驾驶场景，DriveDreamer-2利用语言模型生成定制视频。GenAD模型通过大量数据提升预测能力，Delphi生成长视频以提高规划性能，SimGen模型结合模拟与现实数据，增强自动驾驶系统的可扩展性和安全性。
延伸解读
生成式驾驶场景技术演进
从2018年的BDD100K数据集到2024年的SimGen，生成式驾驶场景技术快速发展。早期工作如DriveSceneGen专注于生成高保真动态场景，而近期模型如DriveDreamer-2和GenAD则利用大语言模型和潜变扩散模型提升生成质量和泛化能力。技术路线从单一场景生成转向多模态、长视频和端到端规划，反映出自动驾驶对数据多样性和真实性的需求日益增长。
长视频生成与规划性能突破
Delphi方法针对现有生成视频帧数少、时空不一致的问题，通过共享噪声建模和特征对齐，生成长达40帧的连贯视频，是现有方法的5倍。实验表明，仅使用4%训练数据即可将规划性能提升25%，首次超越最先进方法。这提示长视频生成对端到端自动驾驶规划至关重要，未来研究可关注如何进一步平衡生成效率与一致性。
模拟与现实融合的挑战与进展
SimGen通过级联扩散管道混合模拟器和现实数据，解决了Sim2Real差距和多条件冲突，在保持可控性的同时提升生成质量和多样性。类似地，DriveDreamer-2和GenAD也致力于缩小仿真与真实的差异。这些工作表明，融合模拟与现实是提高自动驾驶系统可扩展性和安全性的关键，但如何确保生成数据在复杂场景中的可靠性仍需进一步验证。
Q&A
BDD100K数据集的主要用途是什么？
BDD100K是用于评估自主驾驶图像识别算法的最大驾驶视频数据集，包含10个任务。
DriveSceneGen如何生成驾驶场景？
DriveSceneGen通过从真实世界的驾驶数据集中学习，生成高保真度和多样性的动态驾驶场景。
DriveDreamer-2与其他视频生成方法相比有什么优势？
DriveDreamer-2使用大型语言模型生成定制驾驶视频，其生成质量超过其他方法，改进幅度达30%到50%。
GenAD模型的主要特点是什么？
GenAD模型通过大量数据提升预测能力，能够以零-shot方式泛化到未见过的行驶数据集。
Delphi模型在视频生成方面有什么创新？
Delphi模型通过基于扩散的长视频生成方法，能够生成高质量的长视频，提升自动驾驶模型的规划性能。
SimGen模型如何提高自动驾驶系统的安全性？
SimGen模型结合模拟与现实数据，生成多样性的驾驶场景，从而提高自动驾驶系统的可扩展性和安全性。
