主要数据中心再次停电：Cloudflare Code Orange 测试
内容提要
Cloudflare的一个重要数据中心再次停电，但影响较小。Cloudflare团队通过改进确保即使一个关键数据中心停电也不会影响客户。停电原因是Flexential的电路开关板设置错误，导致级联故障。Cloudflare将继续改进和完善系统，确保高可用性。
延伸解读
Code Orange 流程的由来与作用
2023年11月波特兰数据中心停电后，Cloudflare 借鉴 Google 的 Code Yellow/Red 机制，启动了 Code Orange。该流程授权事件负责人调动任何工程师优先处理最高优先级项目，集中资源提升控制平面的高可用性。在2024年3月26日同一数据中心再次停电时，Code Orange 的成果得到验证：API 和仪表板在7分钟内自动恢复，而上次类似服务中断至少6小时。
两次停电影响对比：显著改善
2023年11月停电导致 API、Zero Trust、Magic Transit 等十多项服务中断至少6小时，部分功能降级数天。2024年3月停电时，这些服务在几分钟内恢复，许多甚至无感知。冷启动时间也从约72小时缩短至约10小时。不过，分析平台仍依赖 PDX01，恢复较慢，是后续改进重点。
停电根因：Flexential 断路器设置错误
Flexential 调查显示，四个电路开关板（CSB）的断路器协调设置过低，导致过流保护过于敏感。当一个断路器跳闸时，引发其余 CSB 级联故障，使主备电源路径同时失效。上游和下游设备均正常，故障隔离在 CSB 本身。Flexential 团队重置并调整了设置，Cloudflare 得以分阶段恢复供电。
后续计划：分析平台弹性与运维审查
Cloudflare 的首要任务是完成分析平台的弹性计划，消除对 PDX01 的依赖。同时，将收集仍需人工干预的服务数据，确保未来无需手动操作。公司还将与 Flexential 合作，审查其运营和流程，并将此经验推广至所有关键数据中心设施，以提升整体可靠性。
Q&A
Cloudflare的数据中心停电是因为什么原因？
停电是由于Flexential的电路开关板设置错误，导致级联故障。
Cloudflare如何确保客户在数据中心停电时不受影响？
Cloudflare通过改进系统和引入Code Orange流程，确保即使一个关键数据中心停电也不会影响客户。
在2024年3月26日的停电事件中，Cloudflare的服务恢复情况如何？
在停电后，Cloudflare的API和仪表板在几分钟内恢复正常，许多服务没有受到影响。
Code Orange流程的目的是什么？
Code Orange流程旨在集中资源解决重大事件，确保系统在类似故障中保持高可用性。
Cloudflare在停电后采取了哪些具体改进措施？
Cloudflare更新了控制平面服务和日志推送基础设施，确保在停电时服务能够自动恢复。
Cloudflare的分析平台在停电事件中受到了怎样的影响？
分析平台受到影响，未能在停电后立即恢复，直到当天晚些时候才完全恢复。
