以对象级别知识将世界划分为 Token，以解决自动驾驶中的长尾事件
内容提要
本文探讨了大型语言模型（LLM）在自动驾驶中的应用，提出通过结合多模态提示和强化学习来提升自动驾驶性能。研究表明，LLM具备推理、解释和记忆能力，能够处理复杂驾驶场景，改善决策过程，增强安全性和效果。此外，LMDrive框架展示了与人类指令的有效互动，推动了基于语言的闭环自动驾驶研究。
延伸解读
从规则到学习：自动驾驶范式的转变
文章指出，传统基于规则的自动驾驶系统难以应对复杂情况，而LLM具备推理、解释和记忆能力，能改善决策过程。这标志着自动驾驶从规则驱动向数据驱动策略的过渡，LLM的引入为处理长尾事件提供了新思路。
LLM在自动驾驶中的关键能力与验证
文章强调LLM在自动驾驶中展现出卓越的推理能力，并通过实验证明其可靠性。例如，Atlas的3D感知LLM连接器在nuScenes数据集上表现出优越的3D检测和规划性能，Talk-to-Drive框架在真实环境中成功执行命令并降低接管率，验证了LLM的实际应用潜力。
语言指令与闭环自动驾驶的进展
LMDrive框架整合多模态传感器数据和自然语言指令，实现了基于语言的闭环自动驾驶，并公开了约64K指令跟踪数据片段和LangAuto基准。Talk-to-Drive则通过处理口头指令实现个性化驾驶，这些工作推动了人机交互在自动驾驶中的发展。
对象级多模态模型提升上下文理解
文章提出一种对象级多模态语言模型架构，将向量化数值模态与预训练语言模型结合，通过将视觉世界划分为场景元素，以开放词汇方式编码多帧多模态观察。在Waymo Open Motion数据集上的实验证明该方法优于现有技术，增强了驾驶情境的上下文理解能力。
Q&A
大型语言模型如何提高自动驾驶性能？
大型语言模型通过结合多模态提示和强化学习，能够改善决策过程，增强安全性和效果。
LMDrive框架的主要功能是什么？
LMDrive框架整合多模态传感器数据和自然语言指令，促进基于语言的闭环自动驾驶研究。
Talk-to-Drive框架如何实现个性化驾驶？
Talk-to-Drive框架通过处理人类口头指令并结合上下文信息，做出个性化的安全、高效和舒适的自主驾驶决策。
传统自动驾驶系统面临哪些挑战？
传统基于规则的自动驾驶系统无法应对复杂情况，而大型语言模型具备推理、解释和记忆能力，可以改善这些问题。
如何评估大型语言模型在自动驾驶中的可靠性？
通过在nuScenes数据集上进行高分辨率多视图图像和时空建模的实验，证明了3D-tokenized LLM在自动驾驶中的可靠性。
新提出的对象级多模态语言模型体系结构有什么优势？
该体系结构通过将向量化数值模态与预训练的语言模型相结合，提高了驾驶情境的上下文理解能力。
