美团技术团队
·
MySQL自治平台建设的内核原理及实践（上）
💡
原文中文，约13300字，阅读约需32分钟。
📝
内容提要
本文介绍了美团数据库自治平台的建设过程，包括异常发现、故障分析、故障处理、内核可观测性建设、单SQL优化建议、基于workload索引优化建议和基于SQL生命周期的治理。平台分为接口与展示、平台功能层、数据计算与存储层和数据库采集层四层，每层有不同的作用。异常发现使用数理统计方法，根据不同的数据分布形态选择不同的异常检测算法。故障分析通过内核代码路径分析和内核日志分析来诊断根因。大事务诊断分析通过内核功能增强来获取大事务的完整SQL列表和耗时组成。MySQL Crash分析通过分析Signal类型和触发方式来进行根因分析。
🎯
关键要点
- 美团数据库自治平台旨在快速发现、分析和处理MySQL故障与性能问题。
- 平台建设经历多轮迭代，已实现异常发现、分析和处理的端到端能力。
- 异常发现采用数理统计方法，动态阀值策略用于监控数据库指标。
- 故障分析通过内核代码路径和日志分析来诊断根因。
- 故障处理依据根因分析结果，通过自助或自动化方式恢复故障。
- 内核可观测性建设与内核团队合作，提升SQL性能问题的分析能力。
- 单SQL优化建议结合MySQL存储引擎改造与查询优化。
- 基于workload的索引优化建议为数据库索引自维护提供条件。
- SQL生命周期治理实现从上线前到执行后的全环节治理。
- 平台分为四层：接口与展示、平台功能层、数据计算与存储层、数据库采集层。
- 数据库采集层负责采集和上报关键指标和SQL文本数据。
- 数据计算与存储层使用Kafka、Flink和Spark处理数据并存储结果。
- 平台功能层服务于DBA和研发团队，提供可观测性、异常发现和SQL优化等功能。
- 异常发现策略包括静态阀值和动态阀值，后者更灵活且成本低。
- 基于数理统计的异常检测算法根据数据分布选择不同模型。
- 根因分析强调内核思维，使用内核代码路径和日志分析等方法。
- MySQL Crash分析通过Signal类型和触发方式进行根因分析。
➡️
