内容提要
GitHub服务在2月份出现两次性能下降事件,分别是2月26日和2月29日。这些事件导致了后台作业服务的问题,造成GitHub服务处理延迟。事件原因包括作业排队服务容量限制和自动故障转移系统故障。通过手动切换到备用集群来缓解了这些事件,没有丢失数据。为了防止再次发生类似事件,进行了三项重大改进。长期来看,还在努力提高作业处理平台的可扩展性和可靠性。请关注状态页面获取实时更新和事后总结。
延伸解读
事件时间线与影响范围
2月26日和29日,GitHub因后台作业服务问题出现性能下降。26日事件持续63分钟,影响Webhooks、GitHub Actions和UI更新;29日事件持续142分钟,影响Webhooks、GitHub Actions和GitHub Issues,其中95%的延迟集中在11:05至11:27 UTC的22分钟内。两次事件均未丢失数据,但服务处理延迟明显。
故障转移机制的双重角色
自动故障转移在两次事件中表现不同:26日因自动故障转移系统故障,需手动切换至备用集群;29日自动故障转移在9:32 UTC成功路由流量,但10:32 UTC不当恢复至主集群,导致排队作业激增,直至11:21 UTC修正。这表明故障转移的可靠性及恢复策略对事件持续时间有直接影响。
短期改进与长期方向
针对这两次事件,GitHub已完成三项短期改进:优化自动化、提升故障转移流程可靠性、扩展后台作业排队服务容量。长期则致力于提高作业处理平台的整体可扩展性和可靠性。这些措施旨在减少类似事件的发生频率和影响时长。
Q&A
GitHub在2024年2月经历了哪些性能下降事件?
GitHub在2024年2月经历了两次性能下降事件,分别发生在2月26日和2月29日。
2月26日的事件持续了多长时间,造成了哪些影响?
2月26日的事件持续了63分钟,导致Webhooks、GitHub Actions和UI更新的延迟。
2月29日事件的主要问题是什么?
2月29日事件的主要问题是自动故障转移不当恢复到主集群,导致排队作业显著增加。
GitHub采取了哪些措施来防止类似事件再次发生?
GitHub进行了三项重大改进,包括提高自动化、增强故障转移过程的可靠性和扩展背景作业排队服务的容量。
在2月29日事件中,延迟主要发生在什么时间段?
在2月29日事件中,95%的延迟发生在11:05到11:27 UTC之间。
GitHub未来的计划是什么?
GitHub正在进行更大规模的努力,以提高作业处理平台的可扩展性和可靠性。