Slack Engineering
·
故意破坏
💡
原文英文，约1300词，阅读约需5分钟。
📝
内容提要
Slack团队经历了一次内部服务故障，导致数据丢失。通过创新的故障恢复演练，他们改进了备份流程，提升了团队士气，最终成功恢复系统并发现潜在问题，强调了定期维护和测试的重要性。
🎯
关键要点
- 复杂系统可能以无数种方式失败，故障是不可避免的。
- Slack团队在内部服务故障中失去了同事的配置，导致数据丢失。
- 故障的原因是Kibana集群因磁盘空间不足而崩溃，备份和恢复流程未得到及时维护。
- 团队决定通过创新的故障恢复演练来改进备份流程，提升士气。
- 演练中，团队故意破坏开发Kibana集群以测试新的备份和恢复过程。
- 虽然恢复成功，但在压力下，运行手册中的一些命令仍然难以理解。
- 通过演练，团队发现了防火墙规则问题，并进行了修复。
- 团队将Kibana实例和Elasticsearch集群迁移到Kubernetes上，成功完成迁移。
- 定期维护和测试是确保系统可靠性的关键，团队通过计划性混乱使维护变得有趣。
- 鼓励其他团队也进行系统测试和恢复演练，以提高应对突发事件的能力。
- 每年的3月31日是世界备份日，团队将对此进行庆祝。
➡️
