CLIP模型在视觉与文本对齐方面表现优异，但在处理长文本和复杂知识时存在不足。为此，同济大学与微软团队提出了LLM2CLIP，通过引入大语言模型（LLM）提升CLIP的文本理解能力，显著改善多模态表示学习效果。LLM2CLIP在零样本检索任务中表现突出，并在中文检索中超越中文CLIP，推动了多模态研究的发展。
本文探讨了通过CLIP编码和对比学习提升多模态语言模型（MLLMs）在图像标题生成和分类中的性能，提出了VeCLIP方法，强调数据质量和多样性，显著改善了图像-文本对齐。研究还展示了新模型在多语言图像-文本检索中的有效性，表明视觉表示学习仍需解决。
完成下面两步后，将自动完成登录并继续当前操作。
