Boter: 基于知识的 VQA 的知识选择和问答引导
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
该论文研究了视觉问答系统，利用多模态数据回答时尚照片中的问题。通过训练模型，准确率超过人类专家。提出的基于知识库检索的模型结合视觉和文本信息，显著提升了视觉问题回答的表现。实验表明，预训练语言模型与知识检索结合能有效提高推理能力。
❓
Q&A
视觉问答系统是如何训练的？
该系统使用大规模的领域特定多模态数据集，通过模板自动生成数据进行训练，准确率超过人类专家水平。
VLC-BERT模型的主要特点是什么？
VLC-BERT模型结合视觉和文本线索，使用预训练的Commonsense Transformer模型，超越了使用静态知识库的现有模型。
知识检索模型如何提升视觉问题回答的表现？
良好的知识检索模型可以显著提高视觉问题回答模型在OK-VQA挑战赛上的表现。
语言指导在视觉问答中有什么作用？
语言指导如解释和场景图等可以更准确地回答图像中的问题，提升了CLIP和BLIP模型的性能。
该研究提出了哪些方法来处理视觉问答任务？
研究提出了基于知识库检索的视觉问答模型、后期注入机制和编码器-解码器模型等多种方法。
预训练语言模型在视觉问答中的表现如何？
预训练语言模型在某些推理方面表现优于神经网络模型，但在多跳推理方面不如精调的神经网络模型。
🏷️
