The Cloudflare Blog
·
TimescaleDB如何帮助我们扩展分析和报告
💡
原文英文，约4200词，阅读约需16分钟。
📝
内容提要
Cloudflare使用PostgreSQL和ClickHouse作为数据库，并选择TimescaleDB进行分析。设计强调简单性，避免过度优化。通过PostgreSQL进行数据存储，后期利用TimescaleDB提升性能，简化架构，支持高效查询和数据聚合，以满足增长需求。
🎯
关键要点
- Cloudflare使用PostgreSQL和ClickHouse作为标准数据库，选择TimescaleDB进行分析。
- 设计强调简单性，避免过度优化，专注于最少的组件。
- Digital Experience Monitoring (DEX)产品的初始目标是快速推出MVP，提供可操作的分析和故障排除。
- DEX的架构由三个主要组件组成：HTTP API、PostgreSQL和React UI。
- 使用PostgreSQL存储分析日志，创建简单的表结构和索引以优化查询。
- 在初始发布后，DEX的插入速率达到200次每秒，查询延迟在几百毫秒内。
- 随着用户增长，性能下降，特别是在处理大客户的查询时。
- 通过预计算聚合来优化查询性能，显著减少数据扫描量。
- 表分区技术被考虑用于提高原始表的查询性能，但未最终采用。
- TimescaleDB被选为解决查询性能问题的方案，提供自动分区和数据聚合功能。
- TimescaleDB的压缩和稀疏索引显著提高了查询性能和存储效率。
- Cloudflare的其他团队也开始探索TimescaleDB，特别是在Zero Trust Analytics & Reporting团队中。
- 总结强调核心价值的重要性，避免过早优化，TimescaleDB提供了简单性与性能的良好平衡。
❓
延伸问答
Cloudflare为什么选择TimescaleDB进行分析？
Cloudflare选择TimescaleDB是因为它提供了自动分区和数据聚合功能，能够显著提高查询性能和存储效率，同时保持与PostgreSQL的兼容性。
TimescaleDB如何优化查询性能？
TimescaleDB通过压缩、稀疏索引和自动数据聚合来优化查询性能，减少数据扫描量，提高查询速度。
Cloudflare的DEX产品架构是怎样的？
DEX的架构由HTTP API、PostgreSQL和React UI三个主要组件组成，旨在提供可操作的分析和故障排除功能。
Cloudflare在使用PostgreSQL时遇到了哪些性能问题？
随着用户增长，PostgreSQL在处理大客户的查询时性能下降，特别是在查询7天以上的数据时。
TimescaleDB的压缩功能有什么优势？
TimescaleDB的压缩功能可以将表大小减少90%以上，同时提高查询性能，降低存储成本。
Cloudflare如何处理DEX的查询性能下降问题？
Cloudflare通过预计算聚合和使用TimescaleDB来优化查询性能，显著减少数据扫描量。
➡️
