美团外卖基于GPU的向量检索系统实践
原文中文,约7300字,阅读约需18分钟。发表于: 。到家搜索业务具有数据量大、过滤比高等特点,为了在保证高召回率的同时进一步提高检索性能,美团到家搜索技术团队与基础研发机器学习平台团队基于GPU实现了支持向量+标量混合检索的通用检索系统,召回率与检索性能均有较大提升。本文将介绍我们在GPU向量检索系统建设中遇到的挑战及解决思路,希望对大家有所帮助或启发。
随着大数据和人工智能时代的到来,向量检索的应用场景越来越广泛。在信息检索领域,向量检索可以用于检索系统、推荐系统、问答系统等。为了解决向量检索的耗时和计算资源消耗巨大的问题,业界提出了ANN(Approximate Nearest Neighbor)近邻检索方案。美团外卖利用Elasticsearch+FAISS搭建了向量检索系统,实现了10亿级别+高维向量集的标量+向量混合检索的能力。为了进一步减少检索时间,他们探索基于GPU的向量检索,并实现了一套通用的检索系统。在美团外卖业务中,向量检索已广泛应用于各个场景。