Alert 自动诊断系统的设计

在运维系统中，Alert光发出来是不够的，每一个Alert都需要处理和解决。设计的监控系统包括Vmalert和Alertmanager，还有Mute和高级alert抑制低级alert的功能。Alert Reaction是一个补充开源监控系统的系统，负责处理Alert。最近，为了处理更复杂的Alert，设计了一个框架，当Alert Reaction系统收到Alert时，将其放入任务队列中。用户可以使用装饰器定义如何处理Alert的脚本。框架还解决了加载用户代码和区分不同诊断程序的问题。这个项目类似于之前在蚂蚁金服参与的一个项目，但存在许多困难和挑战。