InfoQ
·
Uber采用Amazon OpenSearch进行语义搜索，以更好地捕捉用户意图
内容提要
为提升搜索和推荐体验，Uber将基础设施从Apache Lucene迁移至Amazon OpenSearch，解决了相关挑战。OpenSearch支持多种算法和GPU加速，优化个性化推荐和欺诈检测。Uber构建的原型处理超过15亿个向量，显著提升数据摄取速度和查询性能，未来计划实现实时更新以满足动态需求。
关键要点
-
Uber将基础设施从Apache Lucene迁移至Amazon OpenSearch，以提升搜索和推荐体验。
-
迁移过程中，Uber工程师解决了多项基础设施挑战，包括算法选择和GPU支持的缺乏。
-
OpenSearch支持多种近似最近邻算法和GPU加速，优化个性化推荐和欺诈检测。
-
Uber构建的原型能够处理超过15亿个向量，显著提升数据摄取速度和查询性能。
-
数据摄取时间从12.5小时减少到2.5小时，提升了79%。
-
通过调整刷新间隔和合并策略，索引大小从约11 TB减少到约4 TB。
-
查询性能方面，P99延迟从约250毫秒降低到120毫秒，提升了52%。
-
并发段搜索未能实现预期的性能提升。
-
未来计划实现从批量摄取到实时更新，以满足动态需求。
延伸解读
技术迁移的挑战与解决方案
Uber在将基础设施从Apache Lucene迁移至Amazon OpenSearch的过程中，面临了多项技术挑战，尤其是在算法选择和GPU支持方面。通过引入多种近似最近邻算法和GPU加速，Uber能够更灵活地满足个性化推荐和欺诈检测的需求。这一转变不仅提升了搜索精度，也为后续的技术优化奠定了基础。
数据处理效率的显著提升
Uber通过优化数据摄取流程，将处理1.5亿个文档的数据时间从12.5小时缩短至2.5小时，提升了79%。这种效率的提升不仅降低了资源消耗，也为实时数据更新打下了基础，显示出在大规模数据处理中的重要性。
查询性能的优化与挑战
在查询性能方面，Uber成功将P99延迟从约250毫秒降低至120毫秒，提升了52%。然而，尽管进行了多项架构改进，Concurrent Segment Search未能实现预期的性能提升，这提示我们在追求性能优化时，仍需谨慎评估新技术的实际效果。
未来的实时更新计划
Uber计划将数据摄取从批量处理转向实时更新，以适应动态需求。这一转变将依赖于Apache Flink等技术，能够更好地满足时间敏感的应用场景，提升用户体验。关注这一进展将有助于理解Uber在数据处理领域的未来方向。
延伸问答
Uber为什么选择从Apache Lucene迁移到Amazon OpenSearch？
Uber迁移到Amazon OpenSearch是为了提升搜索和推荐体验，解决现有架构中的算法选择和GPU支持不足的问题。
Amazon OpenSearch如何优化个性化推荐和欺诈检测？
OpenSearch支持多种近似最近邻算法和GPU加速，从而优化个性化推荐和欺诈检测的性能。
Uber在迁移过程中遇到了哪些基础设施挑战？
Uber面临的挑战包括算法选择的限制、缺乏GPU支持以及数据摄取速度和查询性能的优化。
Uber的原型系统在数据摄取速度上有何改进？
Uber的原型系统将数据摄取时间从12.5小时减少到2.5小时，提升了79%。
Uber如何提高查询性能？
Uber通过调整分片数量、增加副本以及优化架构，将P99延迟从约250毫秒降低到120毫秒，提升了52%。
Uber未来在OpenSearch上的计划是什么？
Uber计划实现从批量摄取到实时更新，以满足动态需求，并进一步探索OpenSearch的潜力。
