稳定性方法论：可灰度 & 可监控 & 可回滚
原文中文，约3900字，阅读约需10分钟。
📝
内容提要
业务系统核心目标是挣钱，系统稳定性建设核心是防止丢钱。稳定性治理的框架包括可灰度、AB、链路和沙箱灰度。监控是重要的，包括机器、链路、网络和业务监控。可回滚是兜底，需要评估应用、数据库DDL和数据回滚的可行性。
🔎
延伸解读
灰度发布：从机器到沙箱的实践选择
文章介绍了机器灰度、AB灰度、全链路灰度和沙箱灰度四种方式。机器灰度简单但验证难，AB灰度灵活但代码侵入多，全链路灰度依赖基建但验证方便，沙箱灰度则通过流量对比确保安全。团队应根据自身基建能力和需求复杂度选择，例如小团队可能更适合AB灰度，而大厂可借助全链路灰度提升效率。
监控体系：平衡漏报与误报是关键
监控是发现线上问题的眼睛，需覆盖机器、链路、网络、业务等多方面。文章强调漏报率和误报率相互制约，目标可设为均小于20%。过度追求低漏报会导致误报增多，引发“狼来了”效应；反之则漏报严重。因此，监控系统需在两者间找到平衡，确保及时发现问题而不被噪音干扰。
可回滚：上线前的必须评估项
可回滚是变更的兜底措施，文章指出不能回滚的变更不允许上线。回滚不仅涉及应用本身，还需评估数据库DDL回滚的时长和影响、数据回滚的兼容性和修复方案等。研发同学可能情感上抗拒回滚，但从客户角度，快速止损至关重要。因此，每次变更前都应全面评估回滚可行性，确保秒级恢复能力。
❓
Q&A
稳定性方法论的核心目标是什么？
稳定性方法论的核心目标是降低变更引发的线上事故，确保系统稳定性，从而防止丢钱。
可灰度发布的优势是什么？
可灰度发布允许逐步放量，减少对用户的影响，能够在变更过程中进行控制和验证。
监控系统应覆盖哪些方面？
监控系统应包括机器监控、链路监控、网络监控和业务监控等全方位监控。
可回滚的必要性是什么？
可回滚是必须的，以确保每次变更都能快速恢复，避免长时间影响客户。
变更是导致线上事故的最大诱因吗？
是的，变更被认为是导致线上事故的最大诱因，因此需要通过灰度、监控和回滚来降低风险。
如何评估可回滚的可行性？
评估可回滚的可行性需要考虑应用回滚、数据库DDL回滚和数据回滚等多个方面。
🏷️
