本文介绍了一种新框架MAPLE(基于偏好的模态对齐学习),通过多模态大语言模型(MLLM)指导跨模态表示学习。MAPLE利用MLLM的细粒度对齐先验,采用强化学习方法构建自动偏好数据,并引入相对偏好对齐损失(RPA),显著提升了跨模态检索效果,尤其在处理细微语义差异方面表现突出。
完成下面两步后,将自动完成登录并继续当前操作。