让大模型多模态检索全面超越SOTA!ReCALL框架化解生成式与判别式的范式冲突|CVPR’26

让大模型多模态检索全面超越SOTA!ReCALL框架化解生成式与判别式的范式冲突|CVPR’26

💡 原文中文,约3100字,阅读约需8分钟。
📝

内容提要

ReCALL框架通过“诊断-生成-校准”闭环解决了多模态大模型在检索中的范式冲突,提升了细粒度推理能力,显著提高了组合图像检索的性能,标志着大模型向下游任务迁移的新阶段。

🎯

关键要点

  • ReCALL框架通过'诊断-生成-校准'闭环解决了多模态大模型在检索中的范式冲突。

  • 该框架提升了细粒度推理能力,显著提高了组合图像检索的性能。

  • 生成式大模型在检索中面临能力退化的问题,主要由于范式冲突导致。

  • ReCALL框架分为四个阶段:基础检索适配、自我诊断、生成校正和针对性打磨。

  • 在CIRR和FashionIQ等主流基准测试中,ReCALL刷新了SOTA性能。

  • ReCALL成功揭示并修复了多模态大模型在向下游任务迁移时的隐形裂痕。

  • 强调保留与激发原生推理能力的新阶段,推动生成与判别范式的和解。

延伸问答

ReCALL框架是如何解决多模态大模型的范式冲突的?

ReCALL框架通过‘诊断-生成-校准’闭环体系,从根本上解决了生成式与判别式的范式冲突,提升了细粒度推理能力。

ReCALL框架的四个阶段分别是什么?

ReCALL框架分为基础检索适配、自我诊断、生成校正和针对性打磨四个阶段。

ReCALL框架在CIRR和FashionIQ测试中的表现如何?

ReCALL在CIRR测试中创造了55.52%的R@1新SOTA,在FashionIQ中平均R@10达到57.04%。

为什么生成式大模型在检索中会出现能力退化?

生成式大模型在检索中面临能力退化,主要是由于范式冲突导致的,强行将其改造成判别式检索器会压缩其高维思考。

ReCALL框架如何提升细粒度推理能力?

ReCALL框架通过自我诊断和生成校正,利用原生推理信号纠正检索空间中的盲区,从而提升细粒度推理能力。

ReCALL框架的成功对多模态大模型的应用有什么影响?

ReCALL框架的成功揭示并修复了多模态大模型在向下游任务迁移时的隐形裂痕,为其在垂直领域的落地奠定了基础。

➡️

继续阅读