在连接的自动驾驶车辆上测试大型语言模型的驾驶理论知识和技能
内容提要
本文探讨大型语言模型（LLM）在自动驾驶系统中的应用，强调其推理、解释和记忆能力。研究表明，LLM能够有效处理复杂驾驶场景，提高决策的准确性和安全性，并在个性化驾驶体验和遵守交通规则方面表现优异，推动自动驾驶技术的发展。
延伸解读
LLM为自动驾驶带来推理与记忆能力
文章指出，传统优化和模块化的自动驾驶系统难以应对复杂情况，而理想的自动驾驶系统应具备推理、解释和记忆三个关键能力。实验证明，大型语言模型在自动驾驶中展现出卓越的推理能力，为人类化自动驾驶的发展提供了有价值的思路。这标志着自动驾驶技术从基于规则向基于数据驱动策略的过渡中，LLM正成为提升系统智能水平的重要方向。
Talk-to-Drive实现个性化驾驶
Talk-to-Drive框架通过处理人类口头指令并结合上下文信息做出自主驾驶决策，实现个性化的安全、高效和舒适驾驶。实验显示，其执行命令成功率达到100%，并在现实世界实验中将不同驾驶员的接管率大幅降低至高达90.1%。这是LLM在真实自主驾驶环境中应用的首次实例，表明语言模型能够有效理解并执行人类指令，提升驾驶体验。
多模态模型在动态环境中的局限
研究评估了多模态大型语言模型在自动驾驶领域的应用，发现这些模型在预测复杂、动态的驾驶环境时存在不足，难以在描绘动态行为的帧之间综合连贯的叙述或逻辑序列。通过DriveSim模拟器生成的多样化驾驶情景进行实验，结果突出了当前领先的MLLMs在真实动态环境中应用能力上的重要差距，强调了需要改进基础模型以提高其适用性。
安全与隐私框架及可解释系统
文章介绍了一个利用多智能体LLMs保护自动驾驶车辆敏感信息的安全框架，确保输出符合驾驶规定和人类价值观，并通过评估11个大语言模型驱动的自动驾驶提示验证了其有效性。此外，DriveGPT4作为可解释的端到端自动驾驶系统，能够理解车辆行为、提供推理、回答用户问题，并以端到端方式预测低层控制信号，在多个任务中展现出优越的性能和通用性。
Q&A
大型语言模型在自动驾驶中有哪些关键能力？
大型语言模型在自动驾驶中具备推理、解释和记忆能力。
Talk-to-Drive框架如何实现个性化驾驶？
Talk-to-Drive框架通过处理人类口头指令并结合上下文信息，实现个性化的安全、高效和舒适的自主驾驶。
研究如何改善自动驾驶车辆的决策准确性？
研究通过结合算术和常识推理，分析物体和传感器数据，理解驾驶法规，从而改善制动和油门控制，提高决策准确性。
多模态大型语言模型在自动驾驶中的应用存在哪些不足？
多模态大型语言模型在动态驾驶环境中的应用存在预测复杂行为的能力不足，需要改进基础模型以提高适用性。
DriveGPT4系统的主要特点是什么？
DriveGPT4是一种可解释的端到端自动驾驶系统，能够理解车辆行为并提供相应推理，展现出优越的性能和通用性。
如何利用大型语言模型增强自动驾驶的安全性？
通过引入新的安全框架，利用多智能体大型语言模型保护自动驾驶车辆的敏感信息，确保输出符合驾驶规定。
