美团技术团队
·
美团外卖基于GPU的向量检索系统实践
💡
原文中文，约7300字，阅读约需18分钟。
📝
内容提要
随着大数据和人工智能时代的到来，向量检索的应用场景越来越广泛。在信息检索领域，向量检索可以用于检索系统、推荐系统、问答系统等。为了解决向量检索的耗时和计算资源消耗巨大的问题，业界提出了ANN（Approximate Nearest Neighbor）近邻检索方案。美团外卖利用Elasticsearch+FAISS搭建了向量检索系统，实现了10亿级别+高维向量集的标量+向量混合检索的能力。为了进一步减少检索时间，他们探索基于GPU的向量检索，并实现了一套通用的检索系统。在美团外卖业务中，向量检索已广泛应用于各个场景。
🎯
关键要点
- 随着大数据和人工智能时代的到来，向量检索的应用场景越来越广泛。
- 向量检索可以用于检索系统、推荐系统、问答系统等。
- ANN近邻检索方案通过构建有效索引，减少向量计算量，提高检索速率。
- 美团外卖利用Elasticsearch+FAISS搭建了向量检索系统，实现了10亿级别的高维向量集检索能力。
- 向量检索在美团外卖业务中广泛应用，特别是与地理位置服务（LBS）结合。
- 美团外卖向量检索系统经历了HNSW、IVF、IVF-PQ等算法的演进。
- HNSW算法在高维数据近似最近邻搜索中表现优异，但在高过滤比下性能下降。
- IVF方法通过倒排索引提高检索速度，但需要大量内存。
- IVF-PQ方法通过乘积量化压缩向量数据，减少内存需求，但精度有所降低。
- IVF-PQ+Refine方案结合了IVF-PQ的存储优势和原始数据的精确计算，提高了检索精度。
- 美团外卖的向量检索系统需要支持高过滤比、高召回率和高性能。
- 探索基于GPU的向量检索以实现高性能检索目标。
- 后置过滤方案无法同时满足检索性能和召回率的需求，因此决定自研GPU向量检索引擎。
- 选择方案3，即在CPU内存中完成标量过滤，将过滤结果传给GPU进行向量计算。
- GPU向量检索引擎支持高并发和资源管理优化，提升检索性能。
- 多GPU并行检索和FP16精度支持进一步提升了检索性能和数据处理能力。
- GPU向量检索系统上线后，向量索引召回率由85%提升至99.4%，检索时延显著降低。
➡️
