Grafana 自适应指标能否帮助大幅降低可观测性成本？
内容提要
Teletracking 实施了 Grafana 自适应指标来管理大量指标并将成本降低了 50%。他们创建了一个指标支出仪表板，并依靠 Grafana 的基数管理仪表板等工具来应对峰值。他们计划探索其他功能，如自适应日志。
延伸解读
指标成本失控的根源
Teletracking 的案例显示，指标成本飙升主要源于自定义指标和依赖项指标。自定义指标用于测量业务事件，而依赖项如 kube-state-metrics、node-exporter 和 JMX 指标则支撑业务服务。这些指标数量庞大，且在高基数场景下，时间序列数量会迅速膨胀。例如，蓝绿部署时，同一微服务在两个集群运行，时间序列可能从 30 万翻倍至 60 万。单个依赖如 Promtail 在 40 个节点上就能产生 1 万时间序列，30 个依赖即可轻松达到百万级。这种缺乏控制的指标泛滥，直接推高了可观测性成本。
自适应指标如何起作用
Grafana 自适应指标通过分析仪表板、告警和查询历史的使用模式，识别未使用的指标和高基数标签，并生成聚合建议。应用后，聚合版本仅保留必要标签，大幅减少时间序列数量，同时确保现有功能正常。如果指标完全未使用，建议会减少高基数标签而不删除指标。用户可查看被丢弃的标签，并在需要时回滚聚合。这种机制类似于为指标设置“日志级别”，有效降低了指标的冗长性，帮助 Teletracking 在几周内将成本削减 50%。
持续管理不可少
尽管自适应指标显著降低了成本，但指标泛滥问题并未根除。Teletracking 仍需持续监控和手动干预。团队创建了指标支出仪表板，跟踪每个团队的时间序列数量和成本，以便快速定位问题服务。当告警触发时，需识别、诊断并联系负责团队更新配置，再通过 Spinnaker 重新部署。此外，基数管理仪表板帮助深入分析具体指标和标签，找出根因。这表明，自适应指标是强大工具，但并非一劳永逸，仍需配套流程和工具来维持成本控制。
未来探索与行业趋势
Teletracking 计划进一步探索自适应日志，以节省更多时间和成本。同时，他们采用 GitOps 方式，通过 GitHub 定时任务拉取自适应指标建议并自动应用，这反映了可观测性成本优化正走向自动化。其他厂商如 Datadog、Elastic 等也提供类似功能，虽术语不同，但目标一致：只保留必要指标。对于面临指标成本压力的团队，可借鉴 Teletracking 的经验，结合自适应指标、支出仪表板和基数管理工具，建立持续优化的机制。
Q&A
Grafana 自适应指标如何帮助降低可观测性成本？
Grafana 自适应指标通过减少指标的冗长性，优化 Prometheus 基数，确保只为使用的指标付费，从而帮助 Teletracking 实现了 50% 的成本削减。
Teletracking 在迁移到云原生基础设施时遇到了什么问题？
Teletracking 面临大量未被充分利用的指标，导致成本飙升，团队管理的时间序列数量从 100 万增加到 200 万。
使用 Grafana 自适应指标后，Teletracking 的成本变化如何？
使用 Grafana 自适应指标后，Teletracking 在几周内实现了 50% 的成本削减。
高基数指标对 Teletracking 的影响是什么？
高基数指标导致指标数量激增，增加了管理复杂性，并且缺乏控制机制使得不必要的指标增加成本。
Teletracking 如何监控和管理指标相关的问题？
Teletracking 创建了一个指标支出仪表板，以跟踪每个团队的时间序列数量和成本，并手动检测和解决与指标相关的问题。
未来 Teletracking 计划探索哪些功能以进一步降低成本？
Teletracking 计划探索自适应日志等其他功能，以进一步节省时间和成本。
