InfoQ
·
优步将内部搜索索引迁移至OpenSearch的基于拉取的摄取框架
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
优步将内部搜索索引系统迁移至OpenSearch，采用基于拉取的摄取框架，以提升实时索引的可靠性和恢复能力，降低维护自家搜索平台的复杂性和成本。新架构通过Kafka或Kinesis缓冲数据，增强吞吐量和稳定性，支持多区域一致性，确保用户获得一致的搜索体验。
🎯
关键要点
- 优步将内部搜索索引系统迁移至OpenSearch，采用基于拉取的摄取框架。
- 新架构旨在提升实时索引的可靠性、处理能力和恢复能力，降低维护自家搜索平台的复杂性和成本。
- 优步的搜索基础设施支持乘车发现、配送选择和基于位置的查询，处理近实时的事件流。
- 基于推送的摄取在小规模时有效，但在流量激增和故障时会导致写入丢失和复杂的重试。
- 基于拉取的摄取将责任转移到OpenSearch集群，使用Kafka或Kinesis作为缓冲，增强吞吐量和稳定性。
- 拉取式管道包括多个交互组件，事件被生产到Kafka或Kinesis主题中，确保可预测的重放。
- 拉取式摄取提供细粒度的操作控制，确保消息处理的一致性和可靠性。
- 优步支持两种摄取模式：段复制和全活跃模式，分别在计算成本和可见性上有所不同。
- 拉取式摄取是优步高度可用的多区域搜索架构的核心，确保全球一致性和无缝故障转移。
- 优步正在逐步将所有搜索用例迁移到OpenSearch的拉取式摄取，朝着云原生、可扩展的架构发展。
➡️
