本研究探讨了视频问答中视觉语言模型(VLMs)的性能,发现VLMs在证实答案方面表现较弱。为解决此问题,提出了高斯掩模优化和跨模态学习的视频定位机制,实验证明其改善了视频定位和问答效果。
该研究探讨了利用预训练技术进行视频语言理解的新趋势,通过迫使视觉语言模型回答问题并同时提供视觉证据,试图确定这些技术的预测在多大程度上基于相关视频内容。研究发现这些模型在证实答案方面表现较弱,提出了通过高斯掩模优化和跨模态学习的视频定位机制来解决这个问题,并发布了数据集和代码。
完成下面两步后,将自动完成登录并继续当前操作。