Boter: 基于知识的 VQA 的知识选择和问答引导
内容提要
该论文研究了视觉问答系统，利用多模态数据回答时尚照片中的问题。通过训练模型，准确率超过人类专家。提出的基于知识库检索的模型结合视觉和文本信息，显著提升了视觉问题回答的表现。实验表明，预训练语言模型与知识检索结合能有效提高推理能力。
延伸解读
知识型VQA的演进脉络
文章梳理了2021至2024年间知识型视觉问答的多项研究，从基于知识库检索的模型到利用预训练语言模型生成知识，再到多智能体协作框架，展示了该领域从显式检索向隐式知识结合、从单一模型向多模块协作的发展趋势。这些工作共同推动了在OK-VQA等挑战赛上的性能提升。
预训练语言模型与任务特定模型的互补性
分析表明，预训练语言模型在1跳推理上表现更强，但在2跳推理上不如精调的神经网络模型。两者都能获取相关信息，但预训练语言模型在知识库相关问题上更优，证实了其隐式知识的有效性，然而它们并不能完全替代对外部知识的需求。因此，结合两者优势是提升性能的关键。
语言指导对多模态模型的增益
通过引入解释、图像标题、场景图等语言指导，CLIP和BLIP等模型的性能得到显著提升，在多个数据集上观察到持续改进。这表明为模型提供结构化的语言线索，能有效增强其利用常识和世界知识进行推理的能力，为多模态理解提供了实用方向。
知识注入与检索的技术多样性
文章提及了多种知识利用方式：后期注入机制将知识图谱三元组转为文本，采用编码器-解码器模型；VLC-BERT使用COMET产生和编码常识知识；TRiG框架将图像转为纯文本进行检索和生成。这些方法在OK-VQA等数据集上取得了领先效果，显示了技术路线的多样性。
Q&A
视觉问答系统是如何训练的？
该系统使用大规模的领域特定多模态数据集，通过模板自动生成数据进行训练，准确率超过人类专家水平。
VLC-BERT模型的主要特点是什么？
VLC-BERT模型结合视觉和文本线索，使用预训练的Commonsense Transformer模型，超越了使用静态知识库的现有模型。
知识检索模型如何提升视觉问题回答的表现？
良好的知识检索模型可以显著提高视觉问题回答模型在OK-VQA挑战赛上的表现。
语言指导在视觉问答中有什么作用？
语言指导如解释和场景图等可以更准确地回答图像中的问题，提升了CLIP和BLIP模型的性能。
该研究提出了哪些方法来处理视觉问答任务？
研究提出了基于知识库检索的视觉问答模型、后期注入机制和编码器-解码器模型等多种方法。
预训练语言模型在视觉问答中的表现如何？
预训练语言模型在某些推理方面表现优于神经网络模型，但在多跳推理方面不如精调的神经网络模型。
