UniME：多语言大模型在通用多模态嵌入中超越CLIP
💡
原文英文，约2800词，阅读约需10分钟。
📝
内容提要
UniME框架通过文本知识蒸馏和困难负样本增强，克服了CLIP在多模态嵌入中的局限性，提升了图文检索和视觉问答的性能，在多个基准测试中表现优异，证明了其在复杂应用中的有效性。
🎯
关键要点
- UniME框架通过文本知识蒸馏和困难负样本增强，克服了CLIP在多模态嵌入中的局限性。
- UniME在图文检索和视觉问答等任务中表现优异，证明了其在复杂应用中的有效性。
- CLIP框架存在文本标记截断、孤立的图文编码和缺乏组合性等限制。
- UniME采用两阶段框架，利用多模态大语言模型（MLLMs）学习区分性表示。
- 文本区分性知识蒸馏增强了MLLM语言组件的嵌入能力。
- 困难负样本增强的指令调优通过过滤假负样本和困难负样本采样来提高区分性表示学习。
- 多模态大语言模型（MLLMs）在视觉语言理解方面取得了显著进展，但其学习可转移多模态表示的潜力仍未得到充分探索。
- UniME通过集成视觉塔、投影层和LLM主干，支持灵活处理单模态和多模态输入。
- UniME在多个基准测试中超越了E5-V模型，显示出更强的区分能力。
- UniME的训练过程高效，第一阶段使用QLoRA进行参数高效微调，第二阶段通过GradCache优化训练效率。
➡️
