CDP 技术系列(二):ClickHouse+Bitmap 实现海量数据标签及群体组合计算

💡 原文中文,约4600字,阅读约需11分钟。
📝

内容提要

本文介绍了使用ClickHouse解决CDP中的数据存储和加工问题,通过bitmap函数将数据加工成标签的bitmap并存储在ClickHouse中,通过组合计算这些bitmap快速圈选人群,采用分布式多分片方式部署ClickHouse应对大数据量。

🔎

延伸解读

列式存储如何提升标签查询效率

ClickHouse采用列式存储,数据按列而非按行组织。在CDP标签场景中,分析查询通常只涉及少数几列,列式存储允许只读取所需列,大幅减少I/O。同时,同列数据类型一致,压缩效率更高,进一步降低存储和传输成本。文中示例显示,行式存储需读取整行,而列式存储可精准定位目标列,配合向量化执行,能高效处理海量数据,这是ClickHouse适合标签计算的关键原因之一。

Bitmap 存储与组合计算机制

ClickHouse本身没有Bitmap类型,而是通过AggregateFunction(groupBitmap, UInt64)参数化类型实现。加工时,利用groupBitmapState函数将源表中符合条件的用户offset聚合成Bitmap,并存入ReplicatedMergeTree表。组合计算时,通过groupBitmapOrStateOrDefault合并多个标签的Bitmap,再用bitmapAnd进行交集运算,快速圈选出同时满足多个标签条件的群体。这种方式将复杂的多条件筛选转化为位图逻辑运算,显著提

分布式部署与查询注意事项

为应对海量数据加工超时,可采用分布式多分片部署ClickHouse,每个分片至少2个主备节点,并通过Zookeeper保存元数据和通信。查询时需区分分布式表和本地表:分布式表是逻辑视图,查询会分发到各节点并在单节点汇总,可能造成压力;本地表是实际存储数据的表,可在应用层通过JDBC分别查询各节点后聚合。注意,平均值等计算需先SUM再COUNT,直接使用平均函数会因分布式汇总而得到错误结果。

标签群体版本管理策略

CDP中所有标签和群体的最新版本均存储在ClickHouse中,组合计算默认使用最新版本。这意味着,如果某个群体之前加工成功,即使今天加工失败,仍可继续使用之前成功的最新版本。这种设计保证了数据的可用性,避免因单次加工失败导致业务中断。但用户也需注意,默认使用最新版本可能带来数据一致性的考量,需根据业务场景确认是否依赖最新数据。

❓

Q&A

ClickHouse 在 CDP 中主要解决什么问题?

ClickHouse 在 CDP 中主要解决海量标签和群体数据的存储与快速组合计算问题,通过 bitmap 技术实现高效圈选人群。

为什么选择 ClickHouse 而不是 Hive、Spark 等工具?

因为 ClickHouse 具有列式存储与数据压缩、高性能分析、支持 bitmap 等优势,能更好地满足 CDP 中快速圈选人群的计算需求,而 Hive、Spark、Presto 等行式存储工具无法满足。

如何将源表数据加工成标签的 bitmap?

使用 ClickHouse 的 bitmap 函数,例如通过 groupBitmapState(offset) 将源表中的 offset 聚合成 bitmap,并插入到对应的标签 bitmap 表中。

ClickHouse 中如何存储 bitmap 类型的数据?

ClickHouse 本身没有 bitmap 类型,而是通过参数化数据类型 AggregateFunction(groupBitmap, UInt64) 来实现 bitmap 数据的存储。

如何组合多个标签的 bitmap 来圈选人群?

使用 bitmapAnd 等函数对多个标签的 bitmap 进行交集运算。例如,要圈选本科学历、20-35 岁女性,可分别获取三个标签的 bitmap,然后执行 bitmapAnd(bitmapAnd(bitmap1, bitmap2), bitmap3)。

面对海量数据,ClickHouse 如何部署以提升性能?

采用分布式多分片部署,每个分片至少 2 个主备节点,使用 Zookeeper 保存元数据和通信,并部署 3 节点高可用 Zookeeper 集群,以实现高性能和高可用。

ClickHouse 中分布式表和本地表有什么区别?

分布式表是逻辑表,查询时会分发到所有节点执行并汇总结果,可能对单节点造成压力;本地表是每个节点实际存储数据的表,数据本地计算,最后汇总结果。

CDP 中标签和群体的版本是如何管理的?

所有标签和群体的最新版本均存储在 ClickHouse 中,组合计算默认使用最新版本。即使某次加工失败,之前成功的最新版本仍可用。

🏷️

标签

➡️

继续阅读