LingoQA：自动驾驶视频问答
原文中文，约500字，阅读约需2分钟。发表于：。自动驾驶领域长期以来面临着公众接受度低的问题，本研究通过视频问答的自然语言处理为决策过程提供了可解释性，同时引入了 LingoQA 基准测试集以填补评估视频问答模型性能的空白，并通过与人工评估的 0.95 斯皮尔曼相关系数进行了验证，其次还提出了一个包含 419,000 个样本的中央伦敦视频问答数据集，建立了基线视觉 - 语言模型，并进行了大量的消融分析以评估其性能。
本研究将视觉-语言模型整合到驾驶系统中，以增强泛化能力和与用户互动。通过建立图结构推理的问答对模型，提出了Graph VQA任务。实验证明Graph VQA为驾驶场景的推理提供了简单和有原则的框架。希望这项工作能为将VLMs应用于自动驾驶提供新的启示。
