大型多模态模型（LMMs）在视觉理解和推理方面取得成功。研究发现，GPT-4V在多步图推理方面优于Gemini Pro。通过描述-编程-推理（DPR）链可以显著提高多步图推理能力。GPT-4V（DPR）代理达到了SOTA性能。

该文介绍了一种通过引入快速重新排列组件并执行微调步骤来改进现有方法的性能，减少阅读器延迟60%的方法。该方法通过研究DPR检索器和FiD阅读器的流程进行评估。