靖待的技术博客
·
向量检索技术
原文中文，约1100字，阅读约需3分钟。
📝
内容提要
大数据领域检索分为结构化数据检索和非结构化数据检索，非结构化数据向量化表示有线性投影和核方法，深度度量学习提供非线性变换能力，常见的检索算法有NSW、HNSW、IVF_PQ，度量方式有欧氏距离、余弦、内积、杰卡德距离。
🎯
关键要点
-
大数据领域检索分为结构化数据检索和非结构化数据检索。
-
非结构化数据检索包括图片、音频、视频等。
-
向量检索的第一步是对非结构化数据进行向量化表示。
-
度量学习用于特征表示，传统方法包括线性投影和核方法，但无法处理非线性特征。
-
深度度量学习通过激活函数提供非线性变换能力。
-
向量检索定义为在给定向量数据集中检索与查询向量相近的K个向量。
-
KNN计算量大，通常关注近似近邻（ANN）问题。
-
向量检索算法需减少候选向量集和降低单个向量计算复杂度。
-
经典检索算法包括NSW、HNSW和IVF_PQ。
-
NSW通过贪婪搜索算法记录搜索最优路径。
-
HNSW使用跳表结构，降低向量检索复杂度。
-
IVF_PQ通过乘积量化和聚类加倒排减少计算复杂度和候选集。
-
IVFSQ8和IVF_FLAT是IVF算法的变种，适用于不同场景。
-
常见的向量度量方式包括欧氏距离、余弦、内积和杰卡德距离。
-
高召回率排序为FLAT > HNSW > IVFFLAT > IVF_SQ8 > IVF_PQ。
-
查询响应时间排序为HNSW > IVF_PQ > IVF_SQ8 > IVF_FLAT > FLAT。
-
资源占用排序为IVF_PQ > IVF_SQ8 > HNSW。
-
选择算法时需考虑内存、磁盘和数据集规模等因素。
🏷️
