语义搜图检索方案
原文中文,约6200字,阅读约需15分钟。发表于: 。图像检索(包括文搜图和图搜图)是各个行业中常见的一个应用场景。比如在电商场景中,基于以图搜图做相似商品查找;在云相册场景中,基于文搜图来找寻所需的图像素材……在本文中,我们将介绍两种基于语义的搜图检索方式以及部署方案,您可以实际测试两种方式在特定应用场景下的搜索率以及搜索的准确性,并选择更加适合的方案使用。
本文介绍了两种基于语义的图像检索方案,一种是利用CLIP模型将图像和文本编码到同一向量空间中进行搜索,另一种是利用vit-gpt2-image-captioning模型生成图像描述文本再进行搜索。方案使用OpenSearch进行存储和检索,具有灵活构建和快速构建大规模生产应用的优势。