V-RoAst: 一种新型视觉道路评估数据集
原文中文，约500字，阅读约需2分钟。发表于：。本研究解决了传统卷积神经网络在道路安全评估中的局限性，提出了一种基于视觉语言模型的全新任务V-RoAst。通过优化提示工程和评估先进的视觉语言模型，研究表明该方法能够有效评估道路安全水平，为资源有限的地方利益相关者提供了无需训练数据的成本效益高的自动化道路安全评估方案。
本文介绍了如何将视觉-语言模型（VLMs）整合到驾驶系统中，以增强泛化能力和与用户互动。通过建立图结构推理的问答对模型，提出了Graph VQA任务，模拟人类的推理过程。构建了基于nuScenes和CARLA的数据集（DriveLM-Data），并提出了基于VLM的基准方法（DriveLM-Agent）。实验证明Graph VQA为驾驶场景的推理提供了简单和有原则的框架，DriveLM-Data为这一任务提供了具有挑战性的基准。DriveLM-Agent在端到端自动驾驶方面表现出了竞争力，尤其在未见过的对象或传感器配置上进行零样本评估时效果显著。希望这项工作能为将VLMs应用于自动驾驶提供新的启示。
