使用来自视觉 - 语言模型的通用表示进行驾驶员活动分类
原文中文，约500字，阅读约需2分钟。发表于：。使用视觉 - 语言模型的通用表征，在司机活动分类中利用语义表示延迟融合神经网络（SRLF-Net）的新方法，通过对多个视角的同步视频帧进行处理，对每个帧进行预训练的视觉 - 语言编码器进行编码，并融合生成类别概率预测，利用对比学习的视觉 - 语言表示，方法在自然驾驶行为识别数据集上得到了鲁棒的性能，证明视觉 - 语言表示为司机监控系统提供了准确性和可解释性。
本文研究了如何将视觉-语言模型（VLMs）整合到驾驶系统中，以增强泛化能力和与用户的互动。通过建立图结构推理的问答对模型，提出了Graph VQA任务，模拟人类推理过程。实验证明Graph VQA为驾驶场景的推理提供了简单和有原则的框架，DriveLM-Data为这一任务提供了具有挑战性的基准。DriveLM-Agent在端到端自动驾驶方面表现出竞争力，尤其在未见过的对象或传感器配置上的零样本评估中效果显著。希望这项工作能为将VLMs应用于自动驾驶提供新的启示。
