Hint-AD：全面对齐的端到端自动驾驶可解释性
内容提要
本文综述了基于行为克隆训练的视觉自驾系统的可解释性方法，探讨了大型语言模型在自动驾驶中的应用潜力，强调推理、解释和记忆能力的重要性。研究提出了DriveGPT4和ADriver-I等系统，展示了其在性能和可解释性上的优势，并指出透明解释性人工智能在安全自动驾驶中的关键作用。
延伸解读
从模块化到端到端：可解释性需求凸显
文章指出，传统优化和模块化的自动驾驶系统难以应对复杂情况，而基于行为克隆的端到端视觉自驾系统虽具潜力，却因“黑箱”特性加剧了安全保障难题。因此，可解释性成为连接高性能与安全信任的关键。综述从计算机视觉、深度学习、自动驾驶和可解释AI等多领域收集贡献，系统梳理了该问题的定义、动机与方法，为后续研究提供了跨学科视角。
大语言模型驱动：推理、解释与记忆成核心能力
文章强调，理想的自动驾驶系统应具备推理、解释和记忆三个关键能力。大语言模型（LLM）在自动驾驶中展现出卓越的推理能力，为人类化自动驾驶提供了新思路。DriveGPT4、ADriver-I、Agent-Driver、DriveMLM等系统利用LLM或多模态大语言模型，在理解行为、提供推理、回答问题和预测控制信号等方面表现出优越性能与通用性，验证了LLM在提升可解释性方面的潜力。
透明解释性AI：安全自动驾驶的基石
针对不透明AI系统带来的安全保障难题，文章首次对透明解释性AI方法在安全可信自动驾驶领域进行了全面综述。研究从数据、模型和机构三个关键方面提出透明解释性AI的基本原则，并总结了可解释设计、可解释的代理模型、可解释的监控、辅助解释和可解释的验证五个关键贡献。在此基础上，提出了模块化框架SafeX，旨在为用户提供解释的同时确保AI模型的安全性。
性能验证与未来方向：基准测试与泛化能力
文章提及多个系统在nuScenes、CARLA Town05 Long等基准测试中验证了有效性。例如，DriveMLM在CARLA Town05 Long上驾驶得分达到76.1，超过Apollo基准4.7分；RAG-Driver在驾驶动作解释和控制信号预测上达到最先进性能，并展现出对未见环境的零样本泛化能力。这些结果凸显了LLM在自动驾驶中的实际潜力，同时文章也指出了当前技术进展、主要挑战和未来方向。
Q&A
DriveGPT4系统的主要特点是什么？
DriveGPT4是一种可解释的端到端自动驾驶系统，利用大型语言模型，能够理解车辆行为并提供推理，增强用户交互，同时预测车辆的低层控制信号。
ADriver-I模型是如何实现自主驾驶的？
ADriver-I模型基于多模态大语言模型和扩散技术，通过历史视觉-动作对和生成的控制信号预测未来帧，实现自主驾驶。
透明解释性人工智能在自动驾驶中的重要性是什么？
透明解释性人工智能在安全自动驾驶中至关重要，它能够提供可解释设计和监控，确保人工智能模型的安全性。
大型语言模型在自动驾驶中的应用潜力如何？
大型语言模型在自动驾驶中具有卓越的推理能力，能够应对复杂情况，提升系统的智能化水平。
SafeX框架的主要功能是什么？
SafeX是一个模块化框架，集成了透明解释性人工智能的关键贡献，为用户提供解释并确保人工智能模型的安全性。
如何评估DriveMLM模型的有效性？
DriveMLM模型通过在真实模拟器中进行闭环驾驶实验，驾驶得分达到76.1，超过Apollo基准4.7分，验证了其有效性。
