通过关键语义感知线索提升音频视觉问答
内容提要
本文研究音视频问答（AVQA）任务，提出了MUSIC-AVQA数据集及多种新方法，如渐进式时空感知网络和上下文多模态对齐网络，显著提升了问答性能。同时，研究探讨了多语言环境下的AVQA，提出新的数据集和框架，以提高鲁棒性和准确性。
延伸解读
AVQA 技术演进：从基础到鲁棒
文章梳理了音视频问答（AVQA）领域的技术发展脉络。从2022年提出MUSIC-AVQA数据集开始，后续研究不断深入：2023年出现目标感知联合时空基础网络、渐进式时空感知网络（PSTP-Net）和端到端对象导向网络，分别从时空基础、渐进感知和对象导向角度提升性能；2024年则关注鲁棒性和多语言扩展，如互相关蒸馏（MCD）框架、上下文多模态对齐（CAD）网络和MUSIC-AVQA-R数据集。这些工作共同推动了AVQA在准确性和鲁棒性上的进步。
多语言 AVQA：新方向与挑战
文章指出，AVQA 研究正从单一语言向多语言环境扩展。通过机器翻译，研究者构建了涵盖八种语言的两个多语言 AVQA 数据集，并引入 MERA 框架，利用先进的视频、音频和文本基础模型进行基准测试。这一方向旨在提升 AVQA 系统在多语言场景下的鲁棒性和准确性，为未来研究提供了新的基准和思路。
数据集偏差与鲁棒性提升
现有 AVQA 方法容易过度学习数据集偏差，导致鲁棒性差。为此，文章提出了 MUSIC-AVQA-R 数据集和一种鲁棒架构，通过多方位的循环协作去偏策略克服偏差学习问题。实验表明，该架构在两个数据集上均取得最先进性能，尤其在 MUSIC-AVQA-R 上提升了 9.68%。这突显了去偏策略对提升 AVQA 模型泛化能力的重要性。
Q&A
MUSIC-AVQA数据集包含多少个问题-答案对？
MUSIC-AVQA数据集包含超过45K个问题-答案对。
渐进式时空感知网络（PSTP-Net）是如何工作的？
PSTP-Net通过三个模块逐步识别问题相关的关键时空区域，以提高问答效率。
互相关蒸馏（MCD）框架的主要作用是什么？
MCD框架通过增强音视频软关联和知识蒸馏，帮助问题推理并减轻过拟合问题。
上下文多模态对齐（CAD）网络的创新点是什么？
CAD网络通过引入无参数随机上下文块和交叉注意机制，确保音频和视觉的稳健对齐。
如何克服音视频问答中的偏差学习问题？
通过提出鲁棒架构和多方位的循环协作去偏策略来克服偏差学习问题。
这项研究如何扩展音视频问答到多语言环境？
研究利用机器翻译提出了两个多语言AVQA数据集，并引入MERA框架进行基准测试。
