研究表明，知识图谱可以提升大型语言模型在问答系统中的准确性。KGQA系统在SciQA数据集上通过少量示例达到了99.0%的F1分数。研究还发现，语义线索显著提高了问答的准确性。尽管大型语言模型在生成能力上表现优异，但在处理复杂问题时仍面临挑战，需要改进评估框架和训练方法。

本文提出了一种新的推理框架，用于填补VQA任务中视觉特征和语义线索之间的语义鸿沟。该框架实现了特征和谓词的有效联合学习，并在三个大规模数据集上取得了更高的准确度。同时，该框架提供了一种可解释的方式来理解深度神经网络在预测答案时的决策。