GitHub 可用性报告：2023年12月
内容提要
GitHub在12月份出现了三起性能下降的事件，与广泛密钥轮换计划有关。事件包括HMAC密钥错误、邮件通知发送失败等。团队已经找到改进方法，并改进了密钥轮换和文档。关键词：GitHub、性能下降、密钥轮换、错误、邮件通知。
延伸解读
密钥轮换的连锁反应
GitHub在12月底的三起性能下降事件均与广泛的密钥轮换计划相关，但具体原因各不相同：HMAC密钥轮换触发Azure Key Vault取键bug，认证凭证轮换导致SMTP服务器未更新，凭证轮换未同步至前端缓存。这表明密钥轮换作为安全实践，若缺乏对依赖组件的全面考虑，可能引发连锁故障。
影响范围与用户感知
三起事件分别影响代码空间创建与恢复、CI活动和Gist邮件通知、以及未登录用户的登录和注册功能。现有会话未受影响，说明已登录用户的服务连续性较好。但未登录用户体验的监控不足，团队已计划改进，这对依赖公开访问或新用户注册的场景尤为重要。
修复措施与改进方向
针对每起事件，GitHub团队已更新密钥轮换操作手册和文档，并改进了提前警报机制。例如，在邮件通知事件中，增加了跨所有服务的更早警报；在登录事件中，正在改进对未登录用户体验的监控和共享凭证更新的管理。这些措施侧重于流程和监控，而非单一技术修复。
Q&A
2023年12月GitHub发生了哪几起性能下降事件？
12月共发生三起性能下降事件：12月27日HMAC密钥轮换导致API调用失败，影响代码空间创建等；12月28日因后端服务认证失败，部分邮件通知未发送；12月29日用户无法登录或注册新账户。
12月27日GitHub的故障是什么原因导致的？
在轮换GitHub前端服务与内部服务之间的HMAC密钥时，触发了从Azure Key Vault获取密钥的bug。在回滚轮换时禁用了Key Vault中的密钥，导致API调用失败。
12月28日GitHub邮件通知故障影响了哪些服务？
主要影响了CI活动和Gist的邮件通知。故障期间，某些GitHub邮件通知因后端服务认证失败而未发送。
12月29日用户无法登录的问题是如何解决的？
问题由凭证轮换未在前端缓存中反映导致。团队通过将更新后的凭证部署到缓存服务解决了该问题。
GitHub针对12月的事件采取了哪些改进措施？
团队改进了HMAC密钥轮换的操作手册和Azure Key Vault文档；更新了密钥轮换操作手册和文档，并改进了提前警报机制；正在改进对未登录用户体验的监控，并更好地管理共享凭证的更新。
12月27日的事件持续了多长时间？
12月27日的事件从02:30 UTC开始，持续了90分钟。
