靖待的技术博客
·
向量检索技术
💡
原文中文，约1100字，阅读约需3分钟。
📝
内容提要
大数据领域检索分为结构化数据检索和非结构化数据检索，非结构化数据向量化表示有线性投影和核方法，深度度量学习提供非线性变换能力，常见的检索算法有NSW、HNSW、IVF_PQ，度量方式有欧氏距离、余弦、内积、杰卡德距离。
🎯
关键要点
- 大数据领域检索分为结构化数据检索和非结构化数据检索。
- 非结构化数据检索包括图片、音频、视频等。
- 向量检索的第一步是对非结构化数据进行向量化表示。
- 度量学习用于特征表示，传统方法包括线性投影和核方法，但无法处理非线性特征。
- 深度度量学习通过激活函数提供非线性变换能力。
- 向量检索定义为在给定向量数据集中检索与查询向量相近的K个向量。
- KNN计算量大，通常关注近似近邻（ANN）问题。
- 向量检索算法需减少候选向量集和降低单个向量计算复杂度。
- 经典检索算法包括NSW、HNSW和IVF_PQ。
- NSW通过贪婪搜索算法记录搜索最优路径。
- HNSW使用跳表结构，降低向量检索复杂度。
- IVF_PQ通过乘积量化和聚类加倒排减少计算复杂度和候选集。
- IVFSQ8和IVF_FLAT是IVF算法的变种，适用于不同场景。
- 常见的向量度量方式包括欧氏距离、余弦、内积和杰卡德距离。
- 高召回率排序为FLAT > HNSW > IVFFLAT > IVF_SQ8 > IVF_PQ。
- 查询响应时间排序为HNSW > IVF_PQ > IVF_SQ8 > IVF_FLAT > FLAT。
- 资源占用排序为IVF_PQ > IVF_SQ8 > HNSW。
- 选择算法时需考虑内存、磁盘和数据集规模等因素。
➡️
