Spotify Engineering
·
事件报告：2025年4月16日Spotify故障
💡
原文英文，约600词，阅读约需3分钟。
📝
内容提要
2025年4月16日，Spotify因Envoy过滤器顺序更改导致全球用户出现故障，大部分地区流量中断，亚太区未受影响。故障后，Spotify增加服务器容量，解决内存配置问题，并承诺改进系统以防止类似事件。
🎯
关键要点
- 2025年4月16日，Spotify因Envoy过滤器顺序更改导致全球用户出现故障。
- 故障时间为12:20至15:45 UTC，大部分地区流量中断，亚太区未受影响。
- 故障原因是Envoy过滤器顺序更改触发了一个bug，导致Envoy崩溃。
- 崩溃导致所有Envoy实例同时出现问题，造成流量激增和内存配置错误。
- 亚太区因时区差异未受到影响，内存使用未达到Kubernetes限制。
- Spotify通过增加服务器容量来缓解故障，停止了服务器的持续循环。
- Spotify承诺改进系统，防止类似事件再次发生，包括修复崩溃bug和配置不匹配问题。
- 将改善配置更改的发布方式和监控能力，以便更早发现问题。
❓
延伸问答
Spotify在2025年4月16日发生了什么故障？
Spotify因Envoy过滤器顺序更改导致全球用户出现故障，故障时间为12:20至15:45 UTC。
故障的主要原因是什么？
故障是由于Envoy过滤器顺序更改触发了一个bug，导致Envoy崩溃。
亚太区在故障中受到了怎样的影响？
亚太区因时区差异未受到影响，流量未中断。
Spotify采取了哪些措施来解决故障？
Spotify通过增加服务器容量来缓解故障，并停止了服务器的持续循环。
Spotify如何防止类似故障再次发生？
Spotify承诺修复崩溃bug，改善配置更改的发布方式和监控能力。
故障发生的具体时间和恢复情况如何？
故障发生在12:20 UTC，全球流量中断，直到15:40 UTC所有流量恢复正常。
➡️
