通过附带关键音频 - 视觉线索的文本回答多样化问题

BriefGPT - AI 论文速递 · 2024-03-11T00:00:00Z

该论文提出了一种新的上下文多模态对齐网络，通过引入无参数随机上下文块来确保音频和视觉对齐。在MUSIC-AVQA数据集上，该网络相对于现有方法平均性能提高了9.4%。同时，将该方法添加到现有方法中可以提高性能，而不需要额外的复杂性要求。