DriveScape：面向高分辨率可控多视角驾驶视频生成
内容提要
本文介绍了多种创新方法生成高质量自动驾驶视频，包括Panacea、DriveDreamer-2和MagicDrive3D。这些方法通过整合新技术和模型，提升了视频生成的多样性和一致性，解决了数据稀缺问题，显著提高了自动驾驶系统的训练效果和规划性能。
延伸解读
技术演进：从多视角生成到长视频规划
文章梳理了2023至2024年驾驶视频生成技术的快速迭代。早期工作如Panacea和DriveDreamer-2聚焦于多视角一致性与可控性，而Delphi则针对现有方法生成视频短（通常少于8帧）且时空不一致的痛点，将生成长度提升至40帧，并首次在规划性能上超越现有方法。这一演进表明，领域正从提升感知训练数据质量，转向直接优化端到端规划性能。
数据效率突破：少量生成数据提升规划性能
Delphi的实验显示，仅使用训练数据集的4%生成新数据，就能将自动驾驶模型的规划性能提升25%。这凸显了生成数据在解决数据稀缺问题上的潜力，尤其是针对失败案例的定向生成。与单纯增加真实数据相比，这种基于失败案例驱动的采样策略可能更具样本效率，为降低数据采集成本提供了新思路。
技术路线分化：重建、扩散与混合模拟
文章中的方法呈现出不同技术路线：MagicDrive3D先训练视频生成模型再进行重建，以支持任意视角渲染；SimGen通过混合模拟器和现实世界数据，利用级联扩散管道缩小模拟到真实的差距；GenDDS则基于Stable Diffusion XL生成真实场景。这些路线各有侧重，但共同目标是提升生成场景的多样性、可控性和真实性，以服务于自动驾驶训练。
评估与挑战：一致性、控制与长时生成
多篇工作指出，时空一致性和精确控制是驾驶视频生成的核心挑战。例如，基于DiT的框架通过空间视角膨胀注意机制确保跨视角一致性，而DreamForge利用扩散技术结合运动线索生成连贯的3D场景。然而，现有方法在生成长视频时仍面临一致性下降的问题，Delphi通过共享噪声建模和特征对齐模块部分解决了这一问题，但长时生成的稳定性和计算成本仍是未来需要关注的方向。
Q&A
Panacea方法如何提高自动驾驶视频的生成质量？
Panacea通过4D注意力和两阶段生成流程，在复杂城市场景中生成高质量的多视角自动驾驶视频，保持一致性并实现精确控制。
DriveDreamer-2与其他视频生成方法相比有什么优势？
DriveDreamer-2是第一个使用大型语言模型生成定制驾驶视频的方法，其视频生成质量超过其他方法，提升了驾驶感知训练效果。
MagicDrive3D是如何实现高质量场景重建的？
MagicDrive3D首先训练视频生成模型，然后进行重建，支持多条件控制，从而实现高质量的3D街道场景生成。
Delphi方法在视频生成中解决了哪些问题？
Delphi通过跨多视角的共享噪声建模机制提高空间一致性，并引入特征对齐模块实现时间一致性，最多可生成40帧视频。
SimGen模型如何解决模拟与真实世界之间的差距？
SimGen模型通过混合模拟器和现实世界数据生成多样化驾驶场景，解决了模拟到真实世界之间的差距和多条件冲突。
GenDDS方法是如何生成多样化驾驶场景的？
GenDDS方法利用潜在扩散模型生成真实且多样的驾驶场景，与KITTI数据集结合，提供新的训练数据解决方案。
