Uber采用Amazon OpenSearch进行语义搜索,以更好地捕捉用户意图

Uber采用Amazon OpenSearch进行语义搜索,以更好地捕捉用户意图

💡 原文英文,约600词,阅读约需3分钟。
📝

内容提要

为提升搜索和推荐体验,Uber将基础设施从Apache Lucene迁移至Amazon OpenSearch,解决了相关挑战。OpenSearch支持多种算法和GPU加速,优化个性化推荐和欺诈检测。Uber构建的原型处理超过15亿个向量,显著提升数据摄取速度和查询性能,未来计划实现实时更新以满足动态需求。

🎯

关键要点

  • Uber将基础设施从Apache Lucene迁移至Amazon OpenSearch,以提升搜索和推荐体验。
  • 迁移过程中,Uber工程师解决了多项基础设施挑战,包括算法选择和GPU支持的缺乏。
  • OpenSearch支持多种近似最近邻算法和GPU加速,优化个性化推荐和欺诈检测。
  • Uber构建的原型能够处理超过15亿个向量,显著提升数据摄取速度和查询性能。
  • 数据摄取时间从12.5小时减少到2.5小时,提升了79%。
  • 通过调整刷新间隔和合并策略,索引大小从约11 TB减少到约4 TB。
  • 查询性能方面,P99延迟从约250毫秒降低到120毫秒,提升了52%。
  • 并发段搜索未能实现预期的性能提升。
  • 未来计划实现从批量摄取到实时更新,以满足动态需求。

延伸问答

Uber为什么选择从Apache Lucene迁移到Amazon OpenSearch?

Uber迁移到Amazon OpenSearch是为了提升搜索和推荐体验,解决现有架构中的算法选择和GPU支持不足的问题。

Amazon OpenSearch如何优化个性化推荐和欺诈检测?

OpenSearch支持多种近似最近邻算法和GPU加速,从而优化个性化推荐和欺诈检测的性能。

Uber在迁移过程中遇到了哪些基础设施挑战?

Uber面临的挑战包括算法选择的限制、缺乏GPU支持以及数据摄取速度和查询性能的优化。

Uber的原型系统在数据摄取速度上有何改进?

Uber的原型系统将数据摄取时间从12.5小时减少到2.5小时,提升了79%。

Uber如何提高查询性能?

Uber通过调整分片数量、增加副本以及优化架构,将P99延迟从约250毫秒降低到120毫秒,提升了52%。

Uber未来在OpenSearch上的计划是什么?

Uber计划实现从批量摄取到实时更新,以满足动态需求,并进一步探索OpenSearch的潜力。

➡️

继续阅读