让大模型多模态检索全面超越SOTA!ReCALL框架化解生成式与判别式的范式冲突|CVPR’26

让大模型多模态检索全面超越SOTA!ReCALL框架化解生成式与判别式的范式冲突|CVPR’26

💡 原文中文,约3100字,阅读约需8分钟。
📝

内容提要

ReCALL框架通过“诊断-生成-校准”闭环解决了多模态大模型在检索中的范式冲突,提升了细粒度推理能力,显著提高了组合图像检索的性能,标志着大模型向下游任务迁移的新阶段。

🎯

关键要点

  • ReCALL框架通过'诊断-生成-校准'闭环解决了多模态大模型在检索中的范式冲突。

  • 该框架提升了细粒度推理能力,显著提高了组合图像检索的性能。

  • 生成式大模型在检索中面临能力退化的问题,主要由于范式冲突导致。

  • ReCALL框架分为四个阶段:基础检索适配、自我诊断、生成校正和针对性打磨。

  • 在CIRR和FashionIQ等主流基准测试中,ReCALL刷新了SOTA性能。

  • ReCALL成功揭示并修复了多模态大模型在向下游任务迁移时的隐形裂痕。

  • 强调保留与激发原生推理能力的新阶段,推动生成与判别范式的和解。

延伸问答

ReCALL框架的核心思想是什么?

ReCALL框架的核心思想是通过'诊断-生成-校准'闭环来解决多模态大模型在检索中的范式冲突。

ReCALL框架如何提升细粒度推理能力?

ReCALL框架通过自我诊断和生成校正,利用原生推理信号纠正检索空间中的盲区,从而提升细粒度推理能力。

ReCALL框架在基准测试中的表现如何?

在CIRR和FashionIQ等主流基准测试中,ReCALL刷新了SOTA性能,R@1达到了55.52%的新高。

为什么生成式大模型在检索中会出现能力退化?

生成式大模型在检索中出现能力退化是由于范式冲突,强行将其改造成判别式检索器导致的。

ReCALL框架的四个阶段分别是什么?

ReCALL框架的四个阶段是基础检索适配、自我诊断、生成校正和针对性打磨。

ReCALL框架如何解决生成与判别的范式冲突?

ReCALL框架通过保留原生推理能力,并利用诊断和生成的过程来修复范式冲突,从而实现生成与判别的和解。

➡️

继续阅读