Jina AI
·
Jina CLIP v2：用于文本和图像的多语言多模态嵌入
💡
原文英文，约1400词，阅读约需5分钟。
📝
内容提要
jina-clip-v2是新发布的多模态嵌入模型，支持89种语言，图像分辨率提升至512x512，性能较v1提高3%。该模型结合文本和视觉编码器，适用于多种检索任务，表现优异。
🎯
关键要点
- jina-clip-v2是新发布的多模态嵌入模型，支持89种语言。
- 该模型的图像分辨率提升至512x512，性能较v1提高3%。
- jina-clip-v2结合文本和视觉编码器，适用于多种检索任务，表现优异。
- v2的文本编码器可以作为有效的多语言长文本密集检索器。
- 在多语言图像检索任务中，jina-clip-v2相比于nllb-clip-large-siglip有高达4%的性能提升。
- v2支持将文本和图像嵌入的输出维度从1024截断至64，减少存储和处理开销。
- jina-clip-v2的文本编码器在多语言MTEB基准测试中表现强劲，检索任务得分为69.86%。
- 在标准跨模态检索基准测试中，jina-clip-v2在Flickr30k图像到文本检索中达到98.0%的性能。
- 在多语言跨模态基准测试中，jina-clip-v2在图像到文本检索中表现优异，超越NLLB-SigLIP。
- jina-clip-v2在图像分类基准测试中表现出色，支持高达94%的维度压缩而性能损失最小。
❓
延伸问答
jina-clip-v2的主要功能是什么？
jina-clip-v2是一个多模态嵌入模型，支持文本和图像的检索，能够处理89种语言，并在多种检索任务中表现优异。
jina-clip-v2相比于v1有哪些性能提升？
jina-clip-v2在文本和图像检索任务中性能提高了3%，并支持更高的图像分辨率（512x512）。
jina-clip-v2如何支持多语言检索？
jina-clip-v2支持89种语言的多语言图像检索，性能在多语言任务中比nllb-clip-large-siglip提高了4%。
jina-clip-v2的图像分辨率有什么变化？
jina-clip-v2的图像分辨率从v1的224x224提升至512x512，能够更好地处理细节丰富的图像。
jina-clip-v2的嵌入维度可以如何调整？
用户可以将文本和图像嵌入的输出维度从1024截断至64，从而减少存储和处理开销。
jina-clip-v2在图像到文本检索中表现如何？
在Flickr30k图像到文本检索中，jina-clip-v2达到了98.0%的性能，表现优于其前身和其他模型。
➡️
