STAIR: 空间 - 时序推理中间结果可审计的视频问答方法
内容提要
该文综述视频问答（VQA）研究进展，涵盖多项模型与方法：HOSTR模型用于建模物体关系、行为与事件；AVQA目标感知时空基础网络融合音视频信息；TranSTR等方法处理长视频多对象事件；TGIF-QA数据集与双LSTM时空注意力方法；STAGE框架引入边界框；双过程神经架构实现多步推理；STREET基准要求结构化解释；端到端解释生成模块兼顾精度；BiST用于视频段落检索；STA双流注意力网络在TGIF-QA多项任务上显著提升。
延伸解读
可解释性成为视频问答的明确追求
文章列举的多个工作都指向可解释性：HOSTR强调可靠性、可解释性和高效性；STREET基准要求模型给出步骤化结构化解释；端到端解释生成模块在保持SOTA精度的同时输出人类可读文本。这说明视频问答的研究重点正从单纯追求答案准确，转向让推理过程可被检查和信任。
长视频与多对象事件是持续难点
TranSTR等方法专门针对长时间、包含多个对象和事件的视频，说明这类场景对模型提出了更高要求。长视频中的时空结构复杂，模型需要同时处理对象关系、行为与事件。文章提到STA能识别长时空结构，也印证了时序建模在视频问答中的核心地位。
多模态融合从音视频到文本提示
AVQA方法融合音频与视觉信息，并通过一致性损失实现问题感知的时空基础；BiST则基于文本提示进行高分辨率视频查询。这些工作显示，视频问答的输入不再局限于画面和问题文本，音频、文本提示等模态的联合使用正在扩展模型可利用的信息来源。
基准数据集推动方法迭代
TGIF-QA作为大规模视频问答数据集，被STA、BiST等多项工作用于评估，STA在Action、Trans、FrameQA和Count任务上报告了显著提升。STREET则提供多任务、多领域的推理与解释基准。这些数据集和基准为不同方法提供了可比平台，也反映出评估维度正从答案正确性扩展到解释质量。
Q&A
视频问答中如何处理长视频里多个对象和事件的问题？
TranSTR等方法通过时空合理化来处理长时间包含多个对象和事件的视频，并在多个数据集上取得了新的最先进结果。
TGIF-QA数据集是什么？有哪些方法在这个数据集上表现好？
TGIF-QA是一个大型视频问答数据集，包含Action、Trans、TrameQA和Count等任务。双LSTM时空注意力方法、STA双流注意力网络和BiST模型都在该数据集上表现出色，其中STA在Action、Trans、TrameQA任务上分别比最佳竞争对手提高了4.1%、4.7%和5.1%。
音视频问答（AVQA）任务中如何融合音频和视觉信息？
AVQA目标感知联合时空基础网络利用三种模态的一致性损失实现问题感知的时空基础，增加音频-视觉互动，并采用单一流结构中的融合方法，在MUSIC-AVQA数据集上证明了有效性。
STREET基准对视频问答模型提出了什么新要求？
STREET是一个统一的多任务、多领域自然语言推理和解释基准，要求模型不仅能回答问题，还能产生步骤化的结构化解释，并描述问题中的前提如何用于产生证明答案正确性的中间结论。评估发现GPT-3和T5等模型在产生结构化推理步骤方面仍远落后于人类。
如何让视频问答模型同时保持高准确率并生成可读的解释？
一种基于最先进VQA框架的端到端解释生成模块，通过引入LSTM和Transformer解码器，生成人类可读的文本解释，同时保持SOTA VQA精度。
HOSTR模型在视频问答中有什么特点和优势？
HOSTR是一种基于对象导向推理的深度神经网络模型，用于动态交互视频场景中的视觉物体关系、行为和事件建模，在多个视频问答基准数据集上取得了最新的最高成就，并显示出可靠性、可解释性和高效性。
