通过协作 LLM-Agent 实现自动驾驶中的可编辑场景模拟
内容提要
该文综述多项自动驾驶仿真研究：LightSim提升神经照明真实感；CTG++以语言控制交通流；L2I数据集与SimCopilot支持自然语言驱动的交互生成；LCTGen结合大模型生成交通场景；GeoSim、READ、AADS实现逼真场景合成与增强现实模拟；TrafficSim生成社交一致的多智能体交通用于数据增强。
延伸解读
语言驱动仿真的技术路径
文章综述的多项研究展示了自然语言在自动驾驶仿真中的核心作用。CTG++通过语言指令控制交通流，L2I数据集和SimCopilot将自然语言描述转化为可渲染代码，LCTGen则利用语言作为交通场景生成的监督信号。这些工作共同表明，语言正成为连接人类意图与仿真控制的关键接口，降低了传统仿真对领域专业知识的依赖。
感知与场景合成的真实感提升
LightSim专注于神经照明相机模拟，生成更逼真的光照条件，并证明基于其生成的数据能提升感知模型性能。GeoSim通过几何感知图像合成，从其他场景提取动态对象来合成新驾驶场景，实现交通意识且几何一致的图像。READ则利用神经渲染从稀疏点云合成大规模驾驶场景，支持场景编辑。这些技术从不同角度提升了仿真数据的视觉真实感。
数据增强与端到端测试的实践价值
TrafficSim生成社交一致的多智能体交通，作为数据增强训练更好的运动规划器。AADS结合LiDAR和相机扫描，生成高度真实的交通流量，支持从感知到规划的端到端训练和测试。这些方法表明，仿真不仅能生成多样化数据，还能在接近真实的条件下验证自动驾驶系统，弥补纯虚拟环境与真实路测之间的差距。
Q&A
LightSim 是什么？它有什么作用？
LightSim 是一个神经照明相机模拟系统，用于在不同照明条件下产生多样化、逼真且可控的数据生成。实验显示其光照效果比以往工作更逼真，且基于 LightSim 生成的数据能显著提高感知模型的性能。
CTG++ 如何通过语言指令控制交通流？
CTG++ 是一种基于学习的交通流模型，可以通过语言指令进行指导，解决了交通模型控制需要领域专业知识、对实践者使用困难等问题。经过广泛评估，该方法在生成实际且符合查询要求的交通仿真方面有效。
L2I 数据集和 SimCopilot 是什么？它们如何支持自然语言驱动模拟？
L2I 是一个包含 12 万个自然语言描述的语言到交互基准数据集，描述了 6 种常见道路拓扑中物体之间的交互，每个描述关联编程代码。SimCopilot 将交互描述转化为可渲染的代码，用于控制物体运动、生成复杂交互和在不同道路拓扑间推广交互。
LCTGen 模型有什么特点？它在交通场景生成方面表现如何？
LCTGen 结合了大型语言模型和基于变压器的解码器架构，利用语言作为动态交通场景生成的监督来源。在无条件和条件下的交通场景生成方面，它表现优于之前的研究，并且在现实感和保真度方面更好。
GeoSim 如何合成新的城市驾驶场景？
GeoSim 是一种基于几何感知的图像合成过程，通过从其他场景中提取的动态对象进行图像合成，从而合成新的城市驾驶场景。该方法能生成真实的、交通意识的、几何一致的合成图像，适用于复杂的场景规模，并可用于长程实际视频模拟和合成数据增强。
TrafficSim 如何生成社交一致的多智能体交通？
TrafficSim 利用模拟真实的自动驾驶系统中的多智能体交通模型，以更多样化的人类演示数据为基础，生成人类社交一致的行驶计划，从而生成更真实、更多样化的交通场景，可作为训练更好的运动规划员的有效数据增强。
