/filters:no_upscale()/sponsorship/topic/02bc1c0b-05e4-413f-abe1-1e7539251049/AstronomerWebinarMar5-RSB-v1-1769188933388.jpg)
InfoQ
·
Pinterest的CDC驱动摄取将数据库延迟从24小时缩短至15分钟
内容提要
Pinterest推出新一代数据库摄取框架，解决了旧系统的延迟和复杂性问题，实现实时数据访问，数据延迟从24小时缩短至15分钟，优化资源利用，支持增量更新和删除，处理PB级数据。
关键要点
-
Pinterest推出新一代数据库摄取框架，解决旧系统的延迟和复杂性问题。
-
新框架实现实时数据访问，数据延迟从24小时缩短至15分钟。
-
旧系统依赖多个独立维护的管道和全表批处理作业，导致高延迟和资源利用效率低下。
-
关键用例如分析、机器学习和产品特性需要更快、更可靠的数据访问。
-
新架构将CDC表与基础表分开，CDC表记录每个变更事件，延迟通常低于五分钟。
-
基础表每15分钟到1小时更新一次，保持完整的历史快照。
-
Pinterest选择Merge on Read策略以降低存储成本，支持增量更新。
-
框架通过Spark作业去重最新变更，并将更新或删除应用于基础表。
-
优化包括通过主键哈希对基础表进行分区，减少每次操作扫描的数据量。
-
系统能够处理PB级数据，支持增量更新和删除，降低基础设施成本。
-
未来改进将集中在自动化模式演变和安全传播上游变更，以增强大规模管道的可靠性和可维护性。
延伸解读
实时数据访问的重要性
Pinterest的新数据库摄取框架显著降低了数据延迟，从24小时缩短至15分钟。这一变化对于分析、机器学习和产品特性等关键应用至关重要，能够提供更快的决策支持和用户体验。实时数据访问使得企业能够迅速响应市场变化，提升竞争力。
架构优化与成本控制
新架构通过将CDC表与基础表分开，采用Merge on Read策略，有效降低了存储成本。此策略在处理PB级数据时，能够支持增量更新和删除，避免了全表操作带来的资源浪费。这种优化不仅提高了数据处理效率，也为企业节省了基础设施开支。
未来发展方向
Pinterest计划在未来集中于自动化模式演变和安全传播上游变更，以增强大规模管道的可靠性和可维护性。这表明，随着数据处理需求的增加，企业需要不断优化其数据架构，以适应快速变化的市场环境和技术进步。
延伸问答
Pinterest的新数据库摄取框架解决了哪些问题？
新框架解决了旧系统的高延迟、操作复杂性和资源利用效率低下的问题。
新框架如何实现实时数据访问？
新框架通过将CDC表与基础表分开，记录每个变更事件，延迟通常低于五分钟，基础表每15分钟到1小时更新一次。
Pinterest选择Merge on Read策略的原因是什么？
选择Merge on Read策略是因为它降低了存储成本，并支持增量更新，避免了Copy on Write带来的高存储开销。
新框架如何处理PB级数据？
新框架通过优化数据处理流程，支持增量更新和删除，能够有效管理PB级数据。
Pinterest的新框架对数据延迟的影响有多大？
新框架将数据延迟从超过24小时缩短至最低15分钟，显著提高了数据可用性。
未来Pinterest在数据库摄取框架上有哪些改进计划？
未来的改进将集中在自动化模式演变和安全传播上游变更，以增强大规模管道的可靠性和可维护性。
