PreFLMR：大规模细粒度后交互多模态检索器的扩展
内容提要
本文综述多模态知识检索与视觉问答的研究进展，涵盖FLMR提升RA-VQA检索性能（PRRecall@5约提高8%，OK-VQA得分约61%）、端到端生成框架、医学VQA检索增强方法、ReMuQ数据集与ReViz模型、REVEAL、KNVQA评估及Med-VQA参数高效微调等，各方法较基线提升3.0%至30%。
延伸解读
FLMR 如何提升多模态检索性能
FLMR 通过改进检索器，在 RA-VQA 中实现了约 8% 的 PRRecall@5 提升，并在 OK-VQA 数据集上达到约 61% 的 VQA 得分。这表明细粒度后交互机制能有效增强知识检索的准确性，为多模态问答系统提供了更可靠的检索基础。
端到端生成框架的创新与效果
该框架利用 LLM 作为虚拟知识库，通过对象感知的前缀调优对齐多粒度视觉特征，并引入知识引导的生成策略。在三个基准测试中，所有评估指标均获得 3.0% 至 14.6% 的显著改进，展示了端到端方法在多模态知识检索中的潜力。
医学 VQA 中的检索增强与参数高效微调
结合多模态提示检索与生成模型的方法，在医学 VQA 任务中比非检索方法精度提升高达 30%。此外，参数高效微调框架在封闭问题上达到 81.9% 的准确率，并超过 GPT-4v 模型 26%，凸显了检索增强和高效微调在专业领域的价值。
评估与数据集对多模态检索的推动
ReMuQ 数据集和 ReViz 模型针对跨媒体检索任务，引入新的预训练任务，提升了多模态查询的知识检索效果。KNVQA 评估方法则关注大型视觉-语言模型的物体虚构和事实准确性问题，为细粒度能力评估提供了新思路。
Q&A
FLMR 在检索增强视觉问答中有什么作用？
FLMR（细粒度后交互多模态检索器）显著提升了检索增强视觉问答（RA-VQA）中的知识检索性能，解决了检索器的局限性，在 PRRecall@5 上实现了约 8% 的提升。配备最先进模型后，RA-VQA 在 OK-VQA 数据集上达到了约 61% 的 VQA 分数。
有哪些方法可以提升医学视觉问答的准确率？
一种结合多模态提示检索和生成模型的方法，在医学视觉问答任务中比非检索方法提高了高达 30% 的精度。此外，一个参数高效的框架专门用于调整多模态大语言模型，在 Med-VQA 封闭问题上整体准确率达到 81.9%，超过 GPT-4v 模型 26%。
ReMuQ 数据集和 ReViz 模型是做什么的？
ReMuQ 是一个针对跨媒体检索任务的新数据集，ReViz 是一个直接处理文本和图像输入的检索器模型，并引入了一个新的预训练任务，实现了对多模态查询的知识检索，并在两个数据集上取得了优秀的检索效果。
REVEAL 模型如何利用外部知识进行视觉问答？
REVEAL 是一种端到端检索增强的视觉语言模型，它将世界知识编码到大规模存储器中，并从中检索以回答知识密集型查询。
KNVQA 评估方法解决了什么问题？
KNVQA 评估方法旨在解决大型视觉-语言模型在现实场景中存在的物体虚构和事实准确性两个关键问题，并开发了相应的 KNVQA 数据集进行评估，从而有效评估现有方法的细粒度能力并为大型视觉-语言模型的进一步优化提供潜在思路。
如何提升 OK-VQA 任务中的检索性能？
提出了一种自动数据生成流程以预训练用于 OK-VQA 任务的通道检索模型，该方法相较于当前最先进的不对称体系结构提供了 26.9% 的 Precision@5 改进，并且在零样本检索方案中表现出良好的能力。
