BDIQA：一个探索通过心智理论进行认知推理的视频问答新数据集
内容提要
该文综述视频问答研究，提出融合知识推理的新任务与数据集，如情景喜剧知识问答、心智理论问答、金融文档问答。研究发现，引入外部知识可提升模型表现，但现有模型在推理和状态跟踪上仍远逊于人类，需发展深度推理与多模态理解。
延伸解读
知识融合提升VQA性能
文章指出，在视频问答中融入外部知识可以显著提升模型表现。例如，KnowIT VQA数据集要求模型结合视觉、文本和时间信息以及剧集知识来回答问题，实验表明知识融合带来了卓越改进。这提示研究者和开发者，在构建视频问答系统时，除了处理多模态输入，还应考虑引入结构化知识库或常识推理，以增强模型的理解能力。
模型推理能力远逊人类
尽管知识融合能提升性能，但现有模型在推理和状态跟踪方面仍远落后于人类。例如，在需要理解信仰和状态一致性的任务中，多个记忆增强神经模型均失败，且引入随机句子会显著降低准确性。MMToM-QA基准测试也显示，大型语言模型和多模态模型缺乏强大的心智理解能力。这表明深度推理和多模态理解仍是亟待突破的瓶颈。
多模态心智理论评估的挑战
文章介绍了MMToM-QA基准，它综合评估机器的心智理解能力，基于多模态数据和单模态数据。实验发现，包括GPT-4在内的先进模型仍缺乏强大的心智理解能力，而BIP-ALM方法通过结合基于模型的推理和语言模型展现了潜力。这揭示了当前AI在社交智能方面的不足，并指出了利用贝叶斯逆规划和语言模型结合的可能方向。
视频问答研究趋势与方向
文章综述了多个视频问答数据集和任务，如TGIF-QA、Causal-VidQA和TAT-DQA，并指出未来方向包括深度推理和多模态理解。例如，Causal-VidQA发现最新方法在描述方面强而在推理方面弱，HOSTR模型在多个基准上取得最优结果。这些工作表明，视频理解正从表示学习向深度推理发展，但模型在复杂推理任务上仍有很大提升空间。
Q&A
BDIQA数据集是什么？它主要解决什么问题？
BDIQA是一个探索通过心智理论进行认知推理的视频问答新数据集。它旨在评估模型在理解信仰和状态一致性方面的推理能力，即心智理论能力。
BDIQA数据集包含多少问答对？
BDIQA数据集包含24,282个由人类生成的问题-答案对。
在BDIQA任务上，现有模型的表现如何？
现有模型在需要跟踪世界不一致状态的任务中均失败，而且当试验中引入随机句子时，模型的准确性明显下降。
BDIQA与MMToM-QA基准有何关联？
BDIQA和MMToM-QA都是评估机器心智理论能力的基准。MMToM-QA是多模式心智问答基准，综合评估机器的心智理解能力，而BDIQA专注于视频问答中的信仰和状态一致性推理。
BDIQA数据集中的问题需要哪些类型的知识才能回答？
需要融合视觉、文本和时间的连贯思维，同时也需要观看该系列影片的体验知识才能回答基于知识的问题。
BDIQA研究的主要发现是什么？
主要发现是：（i）融入知识可在视频问答方面产生卓越的改进；（ii）现有视频建模存在局限性，表明BDIQA仍远远落后于人类的准确度，因此具有较高的研究价值。
