大型语言模型是视频问答中的时间和因果推理器

BriefGPT - AI 论文速递 · 2023-10-24T00:00:00Z

该研究探讨了利用预训练技术进行视频语言理解的新趋势，通过迫使视觉语言模型回答问题并同时提供视觉证据，试图确定这些技术的预测在多大程度上基于相关视频内容。研究发现这些模型在证实答案方面表现较弱，提出了通过高斯掩模优化和跨模态学习的视频定位机制来解决这个问题，并发布了数据集和代码。