谷歌二十年的网站可靠性工程经验教训：缓解事故程度与严重程度成正比，紧急情况前全面测试恢复机制，金丝雀变更，大红色按钮，集成测试，通信和备份渠道，降级性能模式，测试抗灾能力，自动化缓解措施，缩短发布间隔，降低发布出错可能性，单一全局硬件版本是单点故障。