源感知语义表示网络:增强音视频问答

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本研究提出了一种新颖的源感知语义表示网络(SaSR-Net),用于音视频问答中的复杂多模态场景解析。该网络通过可学习标记捕捉音视频元素,并利用空间和时间注意机制提升信息融合效果。实验结果表明,其在Music-AVQA和AVQA-Yang数据集上优于现有方法。