大型视觉-语言模型能否获得驾驶执照？面向可靠通用人工智能的基准研究
内容提要
该研究综述了视觉语言模型（VLM）在自动驾驶和智能交通系统中的应用，评估了技术进展与挑战，提出了新数据集Reason2Drive以促进可解释推理研究，并探讨了多模态大型语言模型在复杂驾驶环境中的潜力与不足，呼吁学术界与工业界共同推动该领域发展。
延伸解读
VLM在自动驾驶中的能力边界
文章指出，当前视觉语言模型在场景理解和因果推理上表现优越，但在方向辨别、交通信号识别、视觉对接和空间推理等任务上仍存在挑战。即使是GPT-4V等商用模型，在CODA-LM基准测试中也无法很好地处理路上的特殊情况。这表明，尽管VLM在语义理解方面有优势，但在需要精确空间感知和实时决策的驾驶任务中，其可靠性仍有明显不足。
数据集与基准推动可解释推理
为促进复杂驾驶环境中的可解释推理研究，文章介绍了Reason2Drive数据集，包含60万个视频文本对，并基于该数据集评估了现有视觉语言模型。此外，CODA-LM作为新兴的视觉-语言基准测试，利用文本评估LVLM在自动驾驶场景中的能力，揭示了其与人类偏好的不一致性。这些数据集和基准为模型能力的客观衡量提供了重要工具。
混合系统与实时性挑战
DriveVLM系统利用VLM进行场景理解和规划，通过思维链模块实现场景描述、分析和层次规划。然而，VLM在空间推理和计算需求上存在限制，为此提出的DriveVLM-Dual混合系统旨在实现稳健的空间理解和实时推理速度。这表明，纯VLM方案在实时自动驾驶中可能面临计算瓶颈，混合架构是当前的一种可行路径。
动态环境中的基础模型差距
文章通过DriveSim模拟器生成多样化驾驶情景，评估了多模态大语言模型作为驾驶世界模型的能力，发现这些模型在预测复杂、动态的驾驶环境时存在不足，难以在帧之间综合连贯的叙述或逻辑序列。研究结果突出了当前领先的MLLMs在真实动态环境中应用能力上的重要差距，强调了改进基础模型的必要性。
Q&A
视觉语言模型在自动驾驶中有哪些应用？
视觉语言模型（VLM）在自动驾驶中用于场景理解、决策和工具控制，能够处理复杂的驾驶环境。
Reason2Drive数据集的目的是什么？
Reason2Drive数据集旨在促进对复杂驾驶环境中可解释推理的研究，包含600K个视频文本对。
DriveVLM系统如何提高自动驾驶的场景理解能力？
DriveVLM系统通过思维链模块实现场景描述和层次规划，并提出DriveVLM-Dual以解决空间推理和计算需求的限制。
CODA-LM基准测试的创新之处是什么？
CODA-LM通过仅使用文本输入评估视觉语言模型在自动驾驶场景中的能力，揭示了与人类偏好的更强一致性。
当前多模态大型语言模型在自动驾驶中存在哪些挑战？
当前多模态大型语言模型在方向辨别、交通信号识别和空间推理等任务上仍面临重要挑战。
CoVLA数据集的主要内容是什么？
CoVLA数据集包含超过80小时的真实驾驶视频，旨在解决自动驾驶中缺乏大规模注释数据集的问题。
