供应链计划性能优化解决方案-Clickhouse本地Join
💡
原文中文，约6700字，阅读约需16分钟。
📝
内容提要
本文探讨了京东供应链计划中Tidb与Clickhouse的瓶颈及解决方案。通过将业务配置数据同步至Clickhouse，并使用SQL聚合查询，显著提升了查询速度，降低了内存占用，解决了系统稳定性问题，从而实现了更高效的查询性能和用户体验。
🎯
关键要点
- 本文探讨京东供应链计划中Tidb与Clickhouse的瓶颈及解决方案。
- Tidb用于存储计划数据和业务配置，Clickhouse用于存储历史参考数据。
- 初始方案导致生效周期长，内存占用大，查询速度慢，影响用户体验。
- 通过SQL聚合查询直接输出结果，显著提升查询速度，降低内存占用。
- 优化方案包括将业务配置数据同步至Clickhouse，并在Tidb和Clickhouse中进行join操作。
- 使用Clickhouse的ReplacingMergeTree建表及维表模式，确保数据去重。
- 本地join在Clickhouse中性能优于Global Join，减少资源开销。
- 本地join要求数据散列方式一致，确保分布函数相同。
- 查询语法要求在使用本地join时需注意过滤条件的写法。
- 最终优化效果包括解决OOM问题和提升查询性能。
❓
延伸问答
京东供应链计划中使用了哪些数据库？
京东供应链计划中使用了Tidb和Clickhouse。
Clickhouse的本地Join有什么优势？
Clickhouse的本地Join性能优于Global Join，减少资源开销，并在每个分布式节点上进行Join，效率更高。
如何解决Tidb和Clickhouse的查询性能问题？
通过将业务配置数据同步至Clickhouse，并使用SQL聚合查询直接输出结果，显著提升查询速度，降低内存占用。
本地Join在Clickhouse中需要注意什么？
本地Join要求数据散列方式一致，确保分布函数相同，并且查询语法需注意过滤条件的写法。
优化方案的最终效果是什么？
优化方案解决了OOM问题，并稳定提升了查询性能。
Clickhouse中如何建表以支持ReplacingMergeTree？
使用ReplicatedReplacingMergeTree建表，并在使用时加上final关键字以确保数据去重。
➡️
