Manjusaka
·
Saka 馬鹿
💡
原文中文，约2400字，阅读约需6分钟。
📝
内容提要
这篇博客总结了作者在2025年首次演讲中提到的两个低级错误：数据库删除事故和CDN变更事故。作者反思了事故原因，指出基础设施保护不足和缺乏监控，并提出改进措施，如将Terraform状态迁移至S3、引入双重审核和灰度发布等，希望读者能从中获得启发。
🎯
关键要点
- 作者分享了2025年演讲中提到的两个低级错误：数据库删除事故和CDN变更事故。
- 第一个错误是核心数据库删除事故，因Terraform状态文件管理不当导致重要资源被删除。
- 事故处理过程中，及时中断Terraform执行并重建数据库，最终在1.5小时后恢复业务流量。
- 第二个错误是CDN变更事故，因未进行灰度发布，导致客户端流量骤降。
- 事故处理时，切断相关流量并回滚WAF规则，恢复业务流量耗时约40分钟。
- 两个事故的共性问题包括基础设施保护不足、缺乏变更审核和监控。
- 改进措施包括将Terraform状态迁移至S3、引入双重审核和灰度发布机制。
- 建议在事故发生后及时降级服务，避免流量冲击恢复过程。
- 强调备份的重要性，建议定期进行备份测试以验证有效性和恢复时间预期。
- 希望读者能从分享中获得启发，并祝愿大家在新的一年里顺利。
➡️
