安志合的学习博客
·
Google SRE 二十年的经验教训
💡
原文中文，约6100字，阅读约需15分钟。
📝
内容提要
谷歌二十年的网站可靠性工程经验教训：缓解事故程度与严重程度成正比，紧急情况前全面测试恢复机制，金丝雀变更，大红色按钮，集成测试，通信和备份渠道，降级性能模式，测试抗灾能力，自动化缓解措施，缩短发布间隔，降低发布出错可能性，单一全局硬件版本是单点故障。
🎯
关键要点
-
缓解事故的程度应与事故的严重程度成正比。
-
在紧急情况发生前对恢复机制进行全面测试。
-
金丝雀所有变更以降低故障风险。
-
有一个 '大红色按钮' 以便在紧急情况下快速恢复。
-
仅有单元测试是不够的，还需要集成测试。
-
确保有非依赖性的备份通信渠道。
-
刻意降级性能模式以提供一致的用户体验。
-
测试抗灾能力以确保服务在极端情况下的可用性。
-
自动化缓解措施以缩短故障解决时间。
-
缩短发布间隔以降低发布出错的可能性。
-
单一全局硬件版本是单点故障，需维护多样化基础设施。
➡️
