供应链计划性能优化解决方案-Clickhouse本地Join
💡
原文中文，约6700字，阅读约需16分钟。
📝
内容提要
本文探讨了京东供应链计划中Tidb与Clickhouse的系统瓶颈及其解决方案。通过将业务配置数据同步至Clickhouse，并采用SQL聚合查询，显著提升了查询速度，减少了内存占用，解决了OOM问题，优化了用户体验。
🎯
关键要点
- 本文探讨京东供应链计划中Tidb与Clickhouse的系统瓶颈及解决方案。
- Tidb用于存储计划数据和业务配置，Clickhouse用于存储历史参考数据。
- 初始方案导致生效周期长和内存不足，影响用户体验。
- 通过SQL聚合查询提升查询速度，减少内存占用，解决OOM问题。
- 将业务配置数据同步至Clickhouse，优化查询性能。
- 使用Clickhouse的ReplacingMergeTree建表及维表模式，确保数据去重。
- 本地Join相较于Global Join性能更优，资源开销更小。
- 本地Join要求数据散列方式一致，避免使用随机函数。
- 本地Join的SQL语法要求需注意，避免子查询导致错误。
- 最终优化效果显著，解决了OOM问题并提升了查询性能。
➡️
