火山引擎ByteHouse：一套方案，让OLAP引擎在精准投放场景更高效
💡
原文中文，约3900字，阅读约需10分钟。
📝
内容提要
本文介绍了字节跳动的OLAP引擎技术和落地经验，重点讲解了广告精准投放场景和人群预估的问题。字节跳动开发了BitEngine方案，通过bitmap64类型和聚合函数实现了高效的交并补计算。该方案在广告业务中取得了显著效果，存储空间和导入时间缩小了3倍，查询性能和CPU使用率明显改善。BitEngine已集成在字节跳动的数据仓库ByteHouse中，为用户提供极速分析体验。未来，BitEngine将继续增强功能以支持广告业务场景。
🎯
关键要点
- 流量红利消退，广告企业探索精细化营销新路径。
- 精细化营销需优选潜力目标受众，对数据仓库提出技术挑战。
- 广告投放过程包括数据收集、整合、人群圈选、投放和反馈分析。
- 人群预估需在5秒内确认命中用户数，辅助投放预算判断。
- 广告精准投放面临数据预估、查询性能、存储空间、高并发和查询效率等问题。
- 字节跳动开发了基于ClickHouse的ByteHouse和BitEngine方案。
- BitEngine通过bitmap64类型和聚合函数提升交并补计算性能。
- BitEngine支持高效存储和计算大量用户ID关系，优化广告人群预估。
- 采用统一编码和分区划分，确保数据计算的并行性和效率。
- BitEngine上线后，广告业务存储空间和导入时间缩小3倍，查询性能显著改善。
- BitEngine已集成在ByteHouse中，为用户提供极速分析体验。
- 未来，BitEngine将增强功能以支持广告业务场景，包括透明编码和细粒度缓存。
➡️
