深入解析微软Outlook大规模宕机事件

深入解析微软Outlook大规模宕机事件

💡 原文英文,约1400词,阅读约需6分钟。
📝

内容提要

微软Outlook发生全球性宕机,持续近24小时。起因是7月起潜伏于Microsoft 365网关服务器的缺陷,在Teams切换流量、约14%服务器容量不可用及高负载叠加下被触发,导致逾80% Exchange服务器无响应。微软将其定为最高级sev0,排查后排除网络攻击,最终恢复服务,并承认测试环境硬件不足,将加强测试。

🔎

延伸解读

故障扩散:冗余机制反而放大问题

文章指出,Exchange Online服务器最初在瑞士掉线,随后蔓延至墨西哥及全球。微软的故障转移系统本应将流量导向健康服务器,但实际却把问题扩散开来,两小时内超过80%的Exchange服务器无响应。这说明高可用设计在极端连锁故障下可能产生反效果,冗余切换本身也会成为压力来源。

三重叠加:潜伏缺陷被特定条件触发

该缺陷自7月起潜伏于Microsoft 365网关服务器,一直未造成影响。触发它的是三个条件叠加:Teams从备用网关切换回主网关,改变了流量模式并增加负载;约14%的网关服务器容量因前一日无关问题不可用;以及高负载时段。文章强调,单独任一因素通常不构成问题,叠加后才导致网关崩溃。

测试盲区:硬件差异让缺陷长期未被发现

微软承认,该缺陷在测试中未被发现,是因为测试环境的流量组合与硬件配置不同。Lamanna表示,锁争用问题在核心更多、硬件更新的机器上更严重,而负载测试主要针对核心较少、性能较弱的硬件。这暴露出测试环境与生产环境在硬件规格上的差距,可能使特定缺陷长期无法复现。

恢复受阻:自动化流程不适用于大面积无响应

文章提到,服务器重启后立即被等待的流量淹没,再次无响应,形成类似重启循环。微软常规的自动恢复流程并非为这种大面积无响应状态设计,且由于缺陷是数月前的潜伏问题,常规回滚、飞行和功能开关也无法快速还原。最终恢复耗时近24小时,期间协调多团队参与,桥接电话一度达到1000人上限。

❓

Q&A

微软Outlook这次全球宕机持续了多久?影响范围有多大?

宕机持续近24小时,导致全球数百万用户无法访问Outlook邮箱,影响员工、企业和多国政府。超过80%的Exchange服务器无响应。

这次Outlook宕机的根本原因是什么?

根本原因是自7月起潜伏在Microsoft 365网关服务器上的一个缺陷,该缺陷导致内部Windows进程出现锁争用,在特定负载条件下使服务器过载无响应。

为什么这个潜伏了几个月的缺陷直到这次才被触发?

因为三个因素叠加:Teams故障转移增加了网关负载并改变了流量模式;约14%的服务器容量因前一天无关问题而不可用;以及该缺陷在更多核心和更新硬件的机器上更严重,而微软的负载测试主要使用较弱硬件,未能发现。

微软是如何排除网络攻击可能性的?

微软工程师调查了潜在攻击向量并与DDoS专家联络,但崩溃报告和日志快速排除了攻击的可能性。

恢复服务为什么花了这么长时间?

因为服务器恢复上线后立即被等待的流量淹没并再次无响应;正常的自动化恢复流程并非为这种大规模无响应状态设计;且主要代码缺陷是数月前的潜伏bug,常规回滚和功能标志无法快速还原。

微软将这次宕机定为什么级别?

微软在内部事件跟踪系统中将其定为“sev0”,这是最高级别,表示灾难性的服务中断。

微软承认在测试环节存在什么不足?

微软承认测试实验室的硬件不足,负载测试主要关注核心较少、较弱的硬件,而该缺陷在更多核心和更新硬件上更严重,导致测试未能发现该问题。

🏷️

标签

➡️

继续阅读