本文解读了四篇paper，其中包括使用大模型进行可解释的端到端自动驾驶的研究。作者使用BDD-X数据集进行训练，该数据集包含视频和标签，用于预测车辆行为。为了增加多样性，作者还创建了自己的数据集，并使用ChatGPT作为教师生成更多关于自车的对话。最终，他们收集了56K视频-文本指令跟随样本，包括16K BDD-X问答和40K由ChatGPT生成的问答。DriveGPT4是一种多功能的多模态大型语言模型，能够处理各种输入类型，包括视频和文本。

本文研究了如何将视觉-语言模型（VLMs）整合到驾驶系统中，以增强泛化能力和与用户互动。通过建立图结构推理的问答对模型，提出了Graph VQA任务，模拟人类推理过程。实验证明Graph VQA为驾驶场景提供了简单和有原则的框架，DriveLM-Data为任务提供了具有挑战性的基准。DriveLM-Agent在端到端自动驾驶方面表现出竞争力，尤其在零样本评估时效果显著。希望这项工作能为将VLMs应用于自动驾驶提供新的启示。