本文探讨了基于知识的视觉问答（VQA）技术，强调跨模态检索在弥合实体与描述之间的语义差距的重要性。研究了不同的模型微调策略，并提出了一种自动生成长尾知识问答数据集的方法。实验验证了多模态语言模型在特定领域任务中的有效性，并提出了新的评估方法以解决视觉-语言模型的准确性问题。

本文研究了大型语言模型记忆的知识与预训练数据中信息之间的关系。结果发现，语言模型回答基于事实的问题的能力与预训练期间看到的相关问题文档数量有强相关性和因果关系。同时，更大的模型能学习更长尾的知识，但需要将模型规模增加数个数量级才能在缺乏支持数据的问题上实现具有竞争性的问答表现。最后，对相关文档数量依赖进行检索增强，能够有效捕捉长尾知识。