WcDT: 世界中心扩散变压器用于交通场景生成
内容提要
本文介绍了一种名为可控扩散轨迹生成器（CDT）的新模型，用于复杂交通环境中的轨迹预测。该模型结合地图信息和社交交互，利用行为标记确保轨迹多样性。实验结果表明，CDT在城市环境中生成的轨迹符合场景要求，并探讨了基于扩散模型的多智能体轨迹预测和视频生成方法，展示了其在自动驾驶等应用中的有效性。
延伸解读
扩散模型在轨迹预测中的优势
文章指出，基于扩散的生成模型用于多智能体轨迹预测，能够学习数据多样性、提高预测准确性并应对不确定交通状况。CDT模型通过结合地图信息和社交交互，并引入行为标记，确保了轨迹的多模态性，在Argoverse 2基准测试中生成多样且符合场景要求的轨迹。这表明扩散模型在复杂交通环境预测中具有潜力。
世界模型与离散扩散的创新
文章提到一种新的世界建模方法，通过标记化传感器观测并使用离散扩散预测未来，显著改进了学习点云观测的世界模型，在自动驾驶等机器人应用中实现了超过65%的Chamfer距离缩减（1秒预测）和超过50%的缩减（3秒预测）。这表明离散扩散可以启用类似GPT的无监督学习，提升机器人代理性能。
视频生成技术的进展
文章介绍了Video Diffusion Transformer（VDT），首次在基于扩散的视频生成中使用Transformer，通过模块化时空注意力机制实现灵活条件信息，并在视频生成、预测和动力学建模任务中表现出色。此外，W.A.L.T方法通过因果编码器和窗口注意力架构，在视频和图像生成基准上达到最先进性能，并能生成512x896分辨率、8帧/秒的视频。
交通场景生成与控制的多样性
文章描述了多种交通场景生成方法：场景扩散系统模拟自动驾驶感知输出，生成真实物理可行的代理边界框组合，并能适应美国不同地区；SceneDM框架生成联合一致的未来行动，在Waymo Sim Agents Benchmark上取得最先进结果；CTG++通过语言指令指导交通流模型，解决了控制需要领域专业知识的问题，生成了实际且符合查询要求的交通仿真。
Q&A
可控扩散轨迹生成器（CDT）是如何工作的？
CDT结合地图信息和社交交互，利用行为标记确保轨迹多样性，并通过预测终点促进准确轨迹的生成。
CDT在城市环境中的表现如何？
CDT在复杂城市环境中生成的轨迹多样且符合场景要求，表现出色。
扩散模型在多智能体轨迹预测中的优势是什么？
扩散模型提高了预测准确性，能够应对不确定的交通状况，并学习数据多样性。
Video Diffusion Transformer（VDT）有什么创新之处？
VDT首次在视频生成中使用Transformer，通过模块化的时间和空间注意机制实现灵活的条件信息处理。
如何通过离散扩散方法改进世界建模？
离散扩散方法通过标记化传感器观测结果，显著改进学习点云观测的世界模型。
CTG++模型如何解决交通模型控制的复杂性？
CTG++模型通过语言指令指导交通流模型，简化了交通模型控制的复杂性问题。
