The Cloudflare Blog
·
Cloudflare如何大规模运行Prometheus
💡
原文英文，约7100词，阅读约需26分钟。
📝
内容提要
Cloudflare采用了多种保护措施，包括设置样本限制、标签限制、CI验证和自定义补丁，以确保Prometheus不会因为内存不足而崩溃，以避免高基数问题。
🎯
关键要点
- Cloudflare使用Prometheus监控全球网络的硬件和软件。
- 目前运行916个Prometheus实例，约49亿个时间序列。
- 高基数问题是Prometheus使用中的主要挑战之一。
- 基数是指标标签的唯一组合数量，基数越高，时间序列数量越多。
- 每个时间序列在内存中占用资源，过多的时间序列会导致Prometheus崩溃。
- Prometheus通过HTTP抓取应用程序的指标，并将其存储在时间序列数据库中。
- Prometheus的内存使用与时间序列的数量和标签的数量密切相关。
- Cloudflare采取了多种保护措施，包括设置样本限制、标签限制和CI验证。
- Cloudflare的自定义补丁可以限制TSDB存储的时间序列总数。
- 通过CI验证确保Prometheus服务器有足够的容量来处理额外的时间序列。
- Prometheus的设计旨在处理连续的时间序列，而短暂的时间序列会增加内存使用。
- 良好的内部文档可以帮助工程师更有效地使用Prometheus。
- 理解Prometheus的内部工作原理是解决高基数问题的关键。
🏷️
标签
➡️
