学习缺失模态下的 AVQA 三模态关系
内容提要
本文研究了音视频问答（AVQA）任务，提出了MUSIC-AVQA数据集及多种模型优化策略，提升了多模态关系探索和问题推理能力。实验结果表明，所提方法在多个数据集上优于现有技术，有效应对缺失模态信息和冷启动问题。
延伸解读
缺失模态下的鲁棒性研究
文章提到，当自动音视频表情识别中一个模态缺失时，transformer模型的表现会受到影响。通过消融实验和随机消融训练数据的策略，可以提高模型的泛化性能。这表明在实际应用中，模态缺失是常见问题，而随机消融训练是一种有效的应对手段，能增强模型对不完整输入的适应能力。
MUSIC-AVQA数据集与对象导向网络
文章提出了包含超过45K个问题-答案对的MUSIC-AVQA数据集，并设计了一种端到端对象导向网络。该网络通过特征交互和模型优化探索多模态关系，并引入对象感知自适应正性学习策略，选择高度语义匹配的多模态对作为正性。实验证明，该方法能有效找到有利的音频-视觉线索，并在问题回答性能上达到新的最先进水平。
互相关蒸馏与过拟合缓解
针对音视频问答中的问题推理，文章提出了互相关蒸馏（MCD）框架。该框架通过增强音视频软关联、知识蒸馏和解耦音视频依赖等步骤，在多个问答数据集上优于其他方法。一个有趣的发现是，在推理过程中去除深度音视频特征可以有效减轻过拟合问题，这为模型设计提供了新的思路。
上下文多模态对齐的性能提升
文章引入了一种上下文多模态对齐（CAD）网络，通过无参数随机上下文块确保空间级别上音频和视觉的稳健对齐，并采用预训练技术和交叉注意机制平衡语义信息。在MUSIC-AVQA数据集上，CAD网络相对于现有方法平均性能提高了9.4%，且能方便地集成到现有方法中，无需额外复杂性。
Q&A
MUSIC-AVQA数据集包含多少个问题-答案对？
MUSIC-AVQA数据集包含超过45K个问题-答案对。
本文提出了哪些模型优化策略来提升AVQA任务的性能？
提出了端到端对象导向网络、对象感知自适应正性学习策略和互相关蒸馏框架等多种模型优化策略。
如何处理缺失模态信息和冷启动问题？
通过基于多模态学习和缺失数据补全的推荐系统框架LRMM来有效处理缺失模态信息和冷启动问题。
上下文多模态对齐网络的作用是什么？
上下文多模态对齐网络确保音频和视觉的稳健对齐，平均性能提高9.4%。
互相关蒸馏框架的主要目的是什么？
互相关蒸馏框架旨在增强音视频软关联，帮助问题推理并减轻过拟合问题。
音视频问答任务（AVQA）需要哪些信息来预测答案？
音视频问答任务需要参考视频内容和听觉信息来预测最精确的答案。
