工程师 Cindy Sridharan 用 Claude 修复三个生产 Bug 后总结:AI 的根因分析往往条理清晰却结论错误,原因在于人类对 AI 生成代码的理解不足。核心方法是先让 Agent 采集客观事实,再推导假设,把调试转化为约束满足问题——用对照寻找强信号,用全部事实验证假设,矛盾即剔除。读代码应是最后一步。复现与对抗评审只是排除手段,需附证据。人工干预次数是衡量 Agent 原生基础设施成熟度的最诚实指标。
Palo Alto Networks推出AI驱动可观测性平台Cortex XCOR,可在告警触发后自动调查问题并推荐修复方案,平均3分钟内完成根因分析,成功率75%。该平台基于收购的Chronosphere团队构建,旨在将可观测性从静态仪表盘和人工响应转变为AI优先体验,让SRE从救火转向战略性架构工作。
AIOps将AI与机器学习用于IT运维,可检测异常、关联事件、定位根因并自动响应,介于可观测性与行动之间,不取代人工判断。分为分领域聚焦与跨领域两类,常见用例包括根因分析、异常检测、多云监控、云迁移与DevOps协作。其效益为缩短MTTR、降低成本、提升可观测性,但依赖数据质量与流程整合,宜分阶段实施。
Databricks开发了AI SRE调试代理,用于在事件发生时自动关联信号、执行运行手册,帮助值班工程师快速定位根因。它通过分层架构(原语、API、核心引擎、应用层)支持自动分诊和交互式调查,强调结构化检查、透明证据和优雅降级。目前支持150多个团队,每日运行2000多次调查,显著减少调试时间。关键经验是让团队拥有专业知识、先构建上下文层、通过可追溯证据赢得信任,并确保代理有护栏。
Atlassian开发了自动化根因分析系统,将RCA视为跨信号类型、时间和拓扑的三维关联问题。系统通过服务拓扑缩小范围,独立检测指标、日志和追踪异常,经时间关联和依赖图分析生成排序假设,并附可读叙述。模块化设计支持渐进改进,显著减少人工排查时间,提升事故响应效率。
论文提出ORCA-bench,一个生产保真度的根因分析基准测试,用真实微服务系统评估语言模型Agent。在1,079个任务中,最佳模型中等难度准确率仅25.3%,困难任务仅10.0%,且移除源代码访问会降低性能。测试床含六天遥测数据,结果经专家验证,但真实系统更复杂,实际表现可能更差。
AI编程工具加速代码开发,但机器生成的代码让SRE难以理解系统故障。Chronosphere建议企业自建AI SRE代理,通过整理系统信息生成Markdown文件,辅助根因分析。尽管其提供商业产品,但强调自建过程能积累关键上下文,最终仍需遥测和可观测性工具支持。
Elastic收购AI调查平台Deductive AI,其AI SRE代理可连接代码、遥测源和组织知识,进行根因分析并优化调查路径。结合Elastic的AI能力,旨在减少手动调查时间,更快解决生产问题。现有客户将继续获得支持,未来将公布产品路线图。
文章探讨了故障处理的自动化方法,包括利用Agent进行故障处理、巡检和根因分析。通过建立标准流程和巡检能力,结合AI进行故障分析,提升故障定位和修复效率,重点在资源关联和数据管理,最终实现自动化故障分析。
在复杂的云环境中,运维团队面临挑战。CloudWatch AIOps 利用人工智能和机器学习技术,自动化根因分析,快速定位和解决问题,从而提高故障排查效率,减轻运维负担。
Elastic收购开源AIOps公司Keep Alerting Ltd,整合其事件管理和根因分析能力。Keep将与Elasticsearch和Kibana集成,继续保持开源,提升用户的AI自动化体验。
谷歌SRE工程师Michelle Brush分享了反“背锅”文化的关键策略,强调持续改进和问责的重要性,提到根因分析的问题,讨论了奖励和惩罚的有效性,以及如何建立正确行为的动力,强调创建容许框架和持续改进的文化的重要性。
本文介绍了根因分析的原则和业务结构,以及监控数据的分析。通过对Tomcat和Database的RT监控数据的比较,发现高并发情况下Tomcat的RT上升,Database的RT下降。进一步分析发现,这是因为Tomcat在Database响应慢时拦截流量,导致Tomcat的RT上升。同时提到了Druid连接池的报错问题和分片逻辑的影响。总结了问题的根本原因和压测能过的原因。
本文介绍了复盘的重要性和价值,以及复盘的五个步骤。通过复盘,我们可以更科学地认知和分析问题,并找到可借鉴的解决方法和执行途径。作者分享了一个案例,通过复盘找到问题的根因并制定优化改进方案,最终推广形成整个团队的SOP。
Elasticsearch 8.7 引入新的 Health API,用于诊断集群健康问题。该 API 提供红、黄、绿状态,支持快速概览和详细根因分析两种模式,通过模块化指标检测主节点稳定性、分片可用性、磁盘空间等,并给出具体修复建议和操作指南,帮助用户自助解决问题。
完成下面两步后,将自动完成登录并继续当前操作。