💡
原文英文,约600词,阅读约需3分钟。
📝
内容提要
为提升搜索和推荐体验,Uber将基础设施从Apache Lucene迁移至Amazon OpenSearch,解决了相关挑战。OpenSearch支持多种算法和GPU加速,优化个性化推荐和欺诈检测。Uber构建的原型处理超过15亿个向量,显著提升数据摄取速度和查询性能,未来计划实现实时更新以满足动态需求。
🎯
关键要点
- Uber将基础设施从Apache Lucene迁移至Amazon OpenSearch,以提升搜索和推荐体验。
- 迁移过程中,Uber工程师解决了多项基础设施挑战,包括算法选择和GPU支持的缺乏。
- OpenSearch支持多种近似最近邻算法和GPU加速,优化个性化推荐和欺诈检测。
- Uber构建的原型能够处理超过15亿个向量,显著提升数据摄取速度和查询性能。
- 数据摄取时间从12.5小时减少到2.5小时,提升了79%。
- 通过调整刷新间隔和合并策略,索引大小从约11 TB减少到约4 TB。
- 查询性能方面,P99延迟从约250毫秒降低到120毫秒,提升了52%。
- 并发段搜索未能实现预期的性能提升。
- 未来计划实现从批量摄取到实时更新,以满足动态需求。
❓
延伸问答
Uber为什么选择从Apache Lucene迁移到Amazon OpenSearch?
Uber迁移到Amazon OpenSearch是为了提升搜索和推荐体验,解决现有架构中的算法选择和GPU支持不足的问题。
Amazon OpenSearch如何优化个性化推荐和欺诈检测?
OpenSearch支持多种近似最近邻算法和GPU加速,从而优化个性化推荐和欺诈检测的性能。
Uber在迁移过程中遇到了哪些基础设施挑战?
Uber面临的挑战包括算法选择的限制、缺乏GPU支持以及数据摄取速度和查询性能的优化。
Uber的原型系统在数据摄取速度上有何改进?
Uber的原型系统将数据摄取时间从12.5小时减少到2.5小时,提升了79%。
Uber如何提高查询性能?
Uber通过调整分片数量、增加副本以及优化架构,将P99延迟从约250毫秒降低到120毫秒,提升了52%。
Uber未来在OpenSearch上的计划是什么?
Uber计划实现从批量摄取到实时更新,以满足动态需求,并进一步探索OpenSearch的潜力。
🏷️
标签
➡️