Towards Fine-Grained Video Question Answering

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了Multi-Object Multi-Actor Question Answering (MOMA-QA)数据集,以解决视频问答中的时间和空间粒度不足问题。同时,提出了一种新的视频语言模型SGVLM,结合场景图预测和大型语言模型,显著提升了视频理解的精细度。

🎯

关键要点

  • 本研究提出了Multi-Object Multi-Actor Question Answering (MOMA-QA)数据集,以解决视频问答中的时间和空间粒度不足问题。
  • MOMA-QA数据集旨在提高视频理解的精细度。
  • 提出了一种新的视频语言模型SGVLM,结合场景图预测和大型语言模型。
  • SGVLM显著提升了视频理解中的时间定位和关系理解能力。
  • 研究推动了视频问答领域的进展。
➡️

继续阅读