增强大规模音频语言模型中的时间理解能力的音频问答
内容提要
本研究探讨了音频问题回答（AQA）任务中的时间推理能力，提出了多种模型以提升性能，包括MALiMo和INDENT。研究表明，利用多模态知识和新数据集可以显著改善音频场景理解和问题定位能力。此外，GAMA模型在音频理解任务中表现优异，解决了文本到音频检索中的时间顺序理解问题。
延伸解读
时间推理：音频问答的核心挑战
文章指出，时间推理是音频问答（AQA）任务的关键能力，但现有模型在此方面表现不足。例如，大型音频语言模型在鉴别性问题上遇到困难，尤其是识别特定对象声音是否存在。这凸显了当前模型对鉴别性查询理解不足的弱点。提升时间推理能力需要专门的设计，如MALiMo模型通过扩展FiLM显著提高了时间推理能力。
多模态融合与数据集构建的进展
为提升音频场景理解，研究提出了多模态融合方法并构建了新数据集。例如，MUSIC-AVQA数据集包含超过45K个问题-答案对，用于视听问答任务；AQUALLM框架利用大型语言模型生成高质量AQA数据集，推动了研究进展。这些资源为模型训练和评估提供了基础，并显示出比人工注释数据更强的泛化能力。
模型创新：从INDENT到GAMA
文章介绍了多个创新模型：INDENT利用交叉注意力和时间顺序先验，在长音频中定位问题，R-avg提高约3%；GAMA集成LLM与多种音频表示，在音频理解任务上优于其他大型音频语言模型，优势达1%-84%。这些模型针对不同方面（如问题定位、非语音声音理解）提升了性能，展示了时间理解能力的多样化改进路径。
文本到音频检索中的时间顺序理解
研究还关注文本到音频检索中的时间顺序理解不足问题。通过分析先进模型在AudioCaps和Clotho数据集上的表现，并引入合成数据集评估时间能力，提出新损失函数促使模型关注事件时间顺序，从而提升检索准确性和效率。这表明时间理解不仅限于问答，也影响检索任务。
Q&A
MALiMo模型的主要功能是什么？
MALiMo模型显著提高了音频问题回答任务中的时间推理能力。
INDENT模型是如何提高问题定位能力的？
INDENT模型利用交叉注意力和时间顺序先验信息来学习语音嵌入，从而提高问题定位能力。
GAMA模型在音频理解任务中有什么优势？
GAMA模型在非语音声音的理解上表现优异，优于其他大型音频语言模型。
AQUALLM框架的作用是什么？
AQUALLM框架生成高质量的音频问答数据集，推动了音频问题回答研究的进展。
如何解决文本到音频检索中的时间顺序理解问题？
通过分析模型表现并引入新损失函数，促进模型关注事件的时间顺序，从而提升检索准确性。
音频-视觉问题回答任务的研究成果是什么？
研究创建了包含超过45K个问题-答案对的MUSIC-AVQA数据集，并且方法优于现有的A-V和AVQA方法。
