利用远程车辆的车载大语言模型补充自车视野
内容提要
本文探讨了大型语言模型（LLMs）在自动驾驶车辆中的应用，提出了增强决策过程的新框架。研究表明，LLMs能够改善驾驶决策、提供个性化体验并提升安全性。通过多模态系统，模型有效处理视觉和语言指令，展现出在复杂环境中的适应性。研究还评估了技术进展及未来方向，强调了改进模型以适应真实动态环境的必要性。
延伸解读
LLM如何提升自动驾驶决策
文章指出，大型语言模型（LLMs）的自然语言能力和上下文理解可与自动驾驶车辆无缝集成，提供个性化辅助、持续学习和透明决策。通过在不同场景中试验和实时个性化示范，LLMs能改善驾驶决策、提供个性化驾驶体验并增强安全。这为自动驾驶技术从基于规则向数据驱动过渡提供了新思路。
代表性系统与框架
DriveGPT4是可解释的端到端自动驾驶系统，能理解车辆行为、提供推理并回答用户问题，同时预测低层控制信号。Talk-to-Drive框架通过处理人类口头指令实现个性化自主驾驶决策，成功率达到100%，并在现实实验中大幅降低接管率。这些案例展示了LLMs在自动驾驶中的实际应用潜力。
多模态模型的关键挑战
研究揭示了多模态大型语言模型在动态驾驶环境中的不足，例如难以在帧序列间综合连贯的叙述或逻辑序列。CAVG模型在有限训练数据下表现良好，并在长文本命令、低光、恶劣天气等挑战性场景中展现强健性。但整体上，当前领先的MLLMs在真实动态环境中仍存在重要差距，需改进基础模型。
未来方向与开源贡献
文章综述了视觉语言模型在自动驾驶和智能交通系统中的应用，探讨了潜在应用、挑战和研究空白。为评估MLLMs作为驾驶世界模型的能力，研究贡献了开源代码和新数据集“Eval-LLM-Drive”。这些工作呼吁学术界和工业界共同促进该领域发展，并强调提升模型在真实世界动态环境中的适用性。
Q&A
大型语言模型如何增强自动驾驶车辆的决策过程？
大型语言模型通过自然语言能力和上下文理解，提供个性化辅助和透明决策，从而改善驾驶决策和安全性。
DriveGPT4系统的主要功能是什么？
DriveGPT4是一种可解释的端到端自动驾驶系统，能够理解车辆行为并增强用户交互，预测车辆的低层控制信号。
Context-Aware Visual Grounding模型的优势是什么？
CAVG模型能够高效处理和解释跨模态输入，提升视觉环境中的语言指令执行能力，展现出卓越的强健性和适应性。
Talk-to-Drive框架的成功率如何？
Talk-to-Drive框架在现实世界实验中实现了100%的执行命令成功率，大幅降低了不同驾驶员的接管率。
多模态大型语言模型在自动驾驶中的挑战是什么？
多模态大型语言模型在动态驾驶环境中存在不足，尤其是在预测复杂行为和综合连贯叙述方面的困难。
未来自动驾驶车辆的发展方向是什么？
未来自动驾驶车辆将依赖人本主义设计和先进的人工智能能力，强调持续学习和透明决策。
