TV-TREES: 多模态蕴涵树用于神经符号化视频推理
内容提要
该文综述多模态视频检索与问答研究，提出Tree-augmented跨模态编码、蕴含树数据集、无监督多模态逻辑推断、IRGR检索生成框架、视频对话生成、多模态Transformer检索、MERLOT自监督学习、时域金字塔变换器及强化学习RLET等方法，并通过多任务学习在TVQA上取得最优效果。
延伸解读
多模态视频推理的技术脉络
文章梳理了从视频检索到问答的一系列方法，包括Tree-augmented跨模态编码、蕴含树数据集、无监督多模态逻辑推断、IRGR检索生成框架、视频对话生成、多模态Transformer检索、MERLOT自监督学习、时域金字塔变换器及强化学习RLET等。这些工作分别针对语言与视频时间特征的结合、多步推理的解释生成、跨模态逻辑关系证明、检索与生成的融合、对话中的多模态互补、跨模态线索利用、无标签视频预训练、时域多模交互以及强化学习驱动的推理树生成等不同问题，呈现出该领域从单一任务向多任务、从监督向自监督、从端到端向神经
蕴含树与解释性推理的价值
文章重点介绍了蕴含树形式的解释，即通过多前提蕴含步骤生成从知识事实到问题答案的中间推理结论。ENTAILMENTBANK是第一个含有多步蕴含树的数据集，用于训练模型执行三项解释任务。实验表明，当输入包含相关句子时，强大语言模型能部分解决这些任务，并有推广到其他领域的迹象。RLET框架则通过强化学习生成蕴含树，利用句子选择和推理生成模块进行单步推理，并积累整个树的训练信号。这些工作共同指向一个目标：让视频问答不仅给出答案，还能提供可验证的逻辑推理过程，从而提升模型的可解释性和可信度。
多任务学习在TVQA上的实践
针对多模态视频问答大规模数据集昂贵、现有基准数据集较小的挑战，文章提出通过多任务学习获得额外监督的方法。该方法由多模态视频问答网络、时间检索网络和模态对齐网络组成，通过层次共享中间层同时解决相关的辅助任务，提供额外的协同监督，并采用多任务比率调度进行训练。实验结果表明，该方法在公开数据集TVQA上实现了最先进的效果。这一思路表明，在数据有限的场景下，利用任务间的相关性设计辅助任务，可以有效提升主任务的性能，为视频问答研究提供了可借鉴的范式。
Q&A
什么是ENTAILMENTBANK数据集？
ENTAILMENTBANK是第一个包含多步蕴含树的数据集，通过生成包含多前提蕴含步骤的蕴含树形式的解释，用于培训模型执行三项解释任务。
IRGR框架如何提升问答性能？
IRGR结合了检索步骤和生成步骤，能够解释问题回答，生成包含先前中间结论的层级结构，并在预测方面超过先前的基准模型。
MERLOT模型有什么特点？
MERLOT通过观看数百万个YouTube视频进行自我监督的无标签学习，学习多模态脚本知识，包括空间和时间和语境化的全局情况，从而在视觉场景中推理动态情境，形成出色的时间常识和现场表现，并在视觉常识推理方面表现出色。
时域金字塔变换器在视频问答中有什么作用？
时域金字塔变换器用于多模交互模型，实现问题语义的建立和视频信息的推断，并在三个视频问答数据集上通过了广泛的实验证明了该方法相较于现有技术的卓越表现。
RLET框架如何生成蕴含树？
RLET是基于强化学习的蕴含树生成框架，通过句子选择和推理生成模块进行单步推理，并积累整个树的训练信号，实现了针对解释性QA中的逻辑推理过程，并且在三个数据集上的实验表明了使用强化学习框架的优点。
多任务学习在视频问答中取得了什么效果？
通过多任务学习获得额外监督的方法，由多模态视频问答网络、时间检索网络和模态对齐网络组成，通过层次共享中间层同时解决相关的辅助任务提供额外的协同监督，并提出多任务比率调度的方法进行训练。实验结果表明，该方法在公开数据集TVQA上实现了最先进的效果。
