OmniDrive: 全面的 LLM-Agent 自动驾驶框架，具备三维感知、推理和规划功能
内容提要
本文探讨了大型语言模型（LLMs）在自动驾驶系统中的应用，提出了增强驾驶决策能力的框架和方法。研究表明，LLMs能够改善驾驶体验、提升安全性，并在复杂环境中表现出色。通过构建新数据集和基准，验证了模型的有效性，强调了推理、解释和记忆在自动驾驶中的重要性。
延伸解读
从模块化到认知代理：自动驾驶架构的范式转变
文章指出传统优化和模块化的自动驾驶系统难以应对复杂情况，而LLM作为认知代理能融入人类智能。Agent-Driver通过函数调用访问工具库、认知记忆和推理引擎，在nuScenes基准上显著优于现有方法，并展现出可解释性和少样本学习能力。这标志着自动驾驶从规则驱动向认知驱动转变，但需注意其实际部署仍受限于计算资源和实时性要求。
视觉语言模型的双重挑战：空间推理与计算效率
DriveVLM利用VLMs进行场景理解和规划，但面临空间推理和计算需求的限制，为此提出DriveVLM-Dual混合系统以实现稳健空间理解和实时推理。同时，EM-VLM4AD作为轻量级模型，在内存和浮点运算资源上减少至少10倍，并在DriveLM数据集上取得更高评分。这表明效率与性能的平衡是当前研究重点，但文章未提及这些模型在真实道路上的泛化能力。
基准测试与数据集：推动可解释推理的基石
文章介绍了多个数据集和基准，如DriveLM-Data基于nuScenes和CARLA构建，为Graph VQA任务提供挑战性基准；Reason2Drive包含600K视频文本对，促进复杂驾驶环境中可解释推理的研究。DriveMLM在CARLA Town05 Long上驾驶得分76.1，超过Apollo基准4.7分。这些基准验证了模型有效性，但需注意模拟环境与真实世界的差异可能影响结论的普适性。
Q&A
DriveMLM框架的主要功能是什么？
DriveMLM框架通过标准化决策状态与车辆控制命令的连接，增强了自动驾驶的决策能力，驾驶得分达到76.1。
DriveVLM和DriveVLM-Dual有什么区别？
DriveVLM利用视觉-语言模型进行场景理解，而DriveVLM-Dual则是混合系统，解决了空间推理和计算需求的限制。
大型语言模型如何改善自动驾驶的安全性？
大型语言模型通过增强驾驶决策能力和提供个性化体验，提升了自动驾驶的安全性和效果。
LL3DA助手在自动驾驶中有什么应用？
LL3DA助手可以直接接收点云输入，帮助理解人类互动，并在复杂的3D场景中消除歧义。
Reason2Drive数据集的目的是什么？
Reason2Drive数据集旨在促进对复杂驾驶环境中可解释推理的研究，包含600K个视频文本对。
如何将大型语言模型应用于自动驾驶系统？
大型语言模型可以作为认知代理，融入自动驾驶系统，通过推理、解释和记忆提升人性化驾驶体验。
