engineering on Grafana Labs
·
Grafana Mimir的下一代：深入探讨Mimir重新设计的架构以提升可靠性
💡
原文英文，约900词，阅读约需4分钟。
📝
内容提要
Grafana Mimir迎来三周年，成为开源社区中Prometheus兼容的指标后端。为提升可扩展性和性能，Mimir进行了架构重构，采用Apache Kafka和WarpStream，实现读写路径解耦和多可用区部署，从而增强Grafana Cloud Metrics的可靠性和处理能力。
🎯
关键要点
- Grafana Mimir迎来三周年，成为开源社区中Prometheus兼容的指标后端。
- Mimir的架构重构旨在提升可扩展性和性能，采用Apache Kafka和WarpStream。
- 现有架构中，ingester节点是有状态的，结合了内存TSDB和持久化的写前日志（WAL）。
- 现有设计的缺点包括重查询会干扰实时写入，且ingester节点管理复杂。
- 新架构的核心目标是解耦读写路径，确保读路径的故障不影响写路径。
- Grafana Cloud Metrics需要在多个可用区（AZs）中运行，以满足更严格的服务水平协议（SLA）要求。
- WarpStream是一个Kafka兼容的数据流平台，能够实现成本效益高的多AZ部署。
- WarpStream的无状态和自动扩展特性使其成为比Apache Kafka更具吸引力的选择。
- 经过负载测试，WarpStream能够支持Grafana Cloud Metrics的可扩展性需求。
- 新架构正在逐步推广到Grafana Cloud Metrics，提升对查询流量和写入量突发的抵抗力。
➡️
