使用来自视觉 - 语言模型的通用表示进行驾驶员活动分类

BriefGPT - AI 论文速递 · 2024-04-23T00:00:00Z

本文研究了如何将视觉-语言模型（VLMs）整合到驾驶系统中，以增强泛化能力和与用户的互动。通过建立图结构推理的问答对模型，提出了Graph VQA任务，模拟人类推理过程。实验证明Graph VQA为驾驶场景的推理提供了简单和有原则的框架，DriveLM-Data为这一任务提供了具有挑战性的基准。DriveLM-Agent在端到端自动驾驶方面表现出竞争力，尤其在未见过的对象或传感器配置上的零样本评估中效果显著。希望这项工作能为将VLMs应用于自动驾驶提供新的启示。