Manjusaka
·
Saka 馬鹿
💡
原文中文，约2400字，阅读约需6分钟。
📝
内容提要
这篇博客总结了作者在2025年首次演讲中提到的两个低级错误：数据库删除事故和CDN变更事故。作者反思了事故原因，指出基础设施保护不足和缺乏监控，并提出改进措施，如将Terraform状态迁移至S3、引入双重审核和灰度发布等，希望读者能从中获得启发。
🎯
关键要点
- 作者分享了2025年演讲中提到的两个低级错误：数据库删除事故和CDN变更事故。
- 第一个错误是核心数据库删除事故，因Terraform状态文件管理不当导致重要资源被删除。
- 事故处理过程中，及时中断Terraform执行并重建数据库，最终在1.5小时后恢复业务流量。
- 第二个错误是CDN变更事故，因未进行灰度发布，导致客户端流量骤降。
- 事故处理时，切断相关流量并回滚WAF规则，恢复业务流量耗时约40分钟。
- 两个事故的共性问题包括基础设施保护不足、缺乏变更审核和监控。
- 改进措施包括将Terraform状态迁移至S3、引入双重审核和灰度发布机制。
- 建议在事故发生后及时降级服务，避免流量冲击恢复过程。
- 强调备份的重要性，建议定期进行备份测试以验证有效性和恢复时间预期。
- 希望读者能从分享中获得启发，并祝愿大家在新的一年里顺利。
❓
延伸问答
作者在演讲中提到的两个低级错误是什么？
作者提到的两个低级错误是数据库删除事故和CDN变更事故。
数据库删除事故是如何发生的？
数据库删除事故因Terraform状态文件管理不当，导致在执行时忽略了删除提示，从而删除了重要资源。
CDN变更事故的处理过程是怎样的？
在CDN变更事故中，首先切断相关流量，停止业务脚本调用，随后回滚WAF规则，最终在约40分钟后恢复业务流量。
作者提出了哪些改进措施来防止类似事故？
改进措施包括将Terraform状态迁移至S3、引入双重审核和灰度发布机制，以及定期进行备份测试。
在事故发生后，作者建议采取什么措施来降低影响？
作者建议在事故发生后及时降级服务，切断入口流量，以避免流量冲击恢复过程。
作者强调备份的重要性，具体建议是什么？
作者建议定期进行备份测试，以验证备份的有效性和恢复时间预期，并根据业务重要性选择备份周期。
➡️
