基于零样本知识生成的基于知识的视觉问答
内容提要
该文综述零样本视觉问答研究，涵盖知识图谱增强、知识注入、多智能体协作等方法，并构建多源知识数据集，提升模型在未见答案上的性能与可解释性。
延伸解读
零样本VQA的挑战与知识增强思路
零样本视觉问答要求模型回答训练中未见过的问题或答案，传统方法容易受数据集偏见影响。文章指出，通过引入外部知识（如知识图谱）和设计新的评估协议，可以缓解偏见并提升模型在未见答案上的表现。例如，基于知识图谱和掩码学习机制的算法在F-VQA数据集上实现了最先进性能，并增强了端到端模型在常规任务上的表现。
知识注入与多智能体协作的实践路径
文章综述了多种知识注入方法，如KAPING直接在LLM输入中添加知识图谱事实，在零样本闭卷问答中平均提升达48%；后期注入机制将知识图谱三元组转为文本，在OKVQA上取得最佳效果。此外，多智能体协作框架通过探索者、回答者和整合者三个智能体构建多视图知识库，提升了可解释性和适用性。这些方法为实际应用提供了参考。
多源知识数据集与评估基准的进展
针对异构知识源（如知识库和文本）的利用不足，文章介绍了构建综合数据集的工作，包含需要从结构化和非结构化源检索信息的两跳多源问题，以及生成符号化查询（如SPARQL）的挑战。该数据集通过自动生成和人工注释结合创建，并引入多检索工具方法，为评估LLM在复杂推理中的表现提供了基准。
Q&A
零样本视觉问答（Zero-Shot VQA）主要解决什么问题？
零样本视觉问答旨在让模型在未见过的答案上也能正确回答视觉问题，无需针对新答案进行训练，从而提升模型的泛化能力和可解释性。
有哪些方法可以提升零样本VQA在未见答案上的性能？
文章提到多种方法：使用知识图谱和基于掩码的学习机制结合外部知识；通过生成推理问题提示保持语义和句法不变性；利用知识注入（如KAPING）在LLM输入中添加知识；以及多智能体协作框架（探索者、回答者、整合者）构建多视图知识库进行推理。
知识图谱在零样本VQA中是如何被利用的？
知识图谱可以通过后期注入机制将三元组转化为文本格式，采用编码器-解码器模型将VQA视为文本生成任务；也可以使用基于掩码的学习机制更好地结合外部知识，从而提升在未见答案上的性能。
多智能体协作框架如何提升零样本VQA的可解释性？
该框架使用三个智能体（探索者、回答者和整合者）进行自顶向下推理，明确构建特定图像场景的多视图知识库，从而以人类认知启发的方式推理答案，增强了可解释性。
KAPING方法在零样本问答中取得了怎样的效果？
KAPING通过在知识图上检索相关事实并直接添加到LLM输入中，改善了零样本闭卷问答任务性能，在多个不同大小的LLM上，基于事实的知识增强方法相对于零样本基线的平均表现提升达48%。
当前零样本VQA研究存在哪些主要挑战或不足？
文章指出，当前方法存在一些实际缺陷，部分被数据集偏见掩盖；同时缺乏对异构知识源（如知识库和文本）上的大型语言模型进行有效定位的基准数据集，且需要处理两跳多源问题和符号化查询生成等挑战。
