通过可控的长视频生成释放自主驾驶的泛化能力
内容提要
本文介绍了第一个大规模自动驾驶视频预测模型GenAD，该模型通过网络数据和文本描述提升了泛化能力。在多种行驶场景中，GenAD能够生成长达25分钟的视频，并在多个数据集上取得优异成绩，展示了其在实际应用中的巨大潜力。
延伸解读
GenAD 的泛化能力从何而来
GenAD 的泛化能力主要来自两方面：一是利用超过 2000 小时的网络行驶视频，覆盖全球不同气候和交通场景，打破了传统数据收集的成本限制；二是将视频与多样且高质量的文本描述配对，使模型能学习更丰富的语义关联。这种数据策略让 GenAD 在未见过的行驶数据集上实现零样本泛化，并超越一般或专门针对行车的视频预测模型。
长视频生成的技术挑战与突破
生成长达 25 分钟的时间连贯视频是 GenAD 的核心突破之一。它基于去噪扩散概率模型框架，并引入新颖的时间推理块来处理行驶场景中的动态变化。同时，通过选择性稀疏和长程调节机制，模型能有效优化采样顺序，保持长时序的一致性。这些设计使其在多个数据集上取得优于现有工作的视频建模效果。
从预测模型到实际驾驶应用的潜力
GenAD 不仅是一个视频预测模型，还能适应动作条件化预测模型或运动规划器，这为其在实际行驶应用中打开了空间。例如，在 nuScenes 基准测试中，基于 GenAD 的端到端自动驾驶范式取得了高效的最新成果。这表明生成式视频建模有望成为自动驾驶系统感知与决策的新工具，但实际部署仍需进一步验证。
Q&A
GenAD模型的主要特点是什么？
GenAD是第一个大规模自动驾驶视频预测模型，利用网络数据和文本描述提升泛化能力，能够生成长达25分钟的视频。
GenAD如何提高视频生成的时序一致性？
GenAD采用去噪扩散概率模型的视频建模框架，通过重新设计时域隐变量表示和两阶段训练策略来优化时序一致性。
GenAD在实际应用中有哪些潜力？
GenAD展示了在实际行驶应用中的巨大潜力，能够适应动作条件化预测模型或运动规划器。
GenAD是如何处理不同气候条件和交通场景的？
GenAD的数据集积累了超过2000小时的行驶视频，涵盖了全球各地不同的气候条件和交通场景，从而增强了模型的泛化能力。
GenAD在多个数据集上的表现如何？
GenAD在多个数据集上取得了优异成绩，展示了其在视频预测任务中的有效性。
GenAD的生成视频时长可以达到多少？
GenAD能够生成长达25分钟的时间连贯视频。
