Spotify Engineering
·
事件报告：2025年4月16日Spotify故障
💡
原文英文，约700词，阅读约需3分钟。
📝
内容提要
2025年4月16日，Spotify因Envoy过滤器顺序更改导致全球用户出现故障，大部分地区流量中断，亚太区未受影响。故障后，Spotify增加服务器容量，修复了崩溃原因，并承诺改进系统以防类似问题。
🎯
关键要点
- 2025年4月16日，Spotify因Envoy过滤器顺序更改导致全球用户出现故障。
- 故障时间为UTC时间12:20至15:45，大部分地区流量中断，亚太区未受影响。
- 故障原因是Envoy过滤器顺序更改触发了一个bug，导致Envoy崩溃。
- 崩溃后，所有Envoy实例同时重启，造成前所未有的流量激增，暴露了配置错误。
- 亚太区因时区差异流量较低，未达到Kubernetes内存限制，因此未受影响。
- Spotify通过增加服务器容量来缓解故障，停止了服务器的持续循环。
- Spotify承诺修复导致崩溃的bug，并改善配置变更的发布方式和监控能力。
- Spotify将继续提供透明度，以便对类似事件负责并支持服务的持续改进。
❓
延伸问答
2025年4月16日Spotify故障的主要原因是什么？
故障是由于Envoy过滤器顺序更改触发了一个bug，导致Envoy崩溃。
此次Spotify故障对哪些地区的用户产生了影响？
大部分地区的用户受到影响，亚太区因时区差异未受影响。
Spotify在故障后采取了哪些措施来解决问题？
Spotify增加了服务器容量，修复了崩溃原因，并承诺改进系统以防类似问题。
故障发生时的具体时间是什么？
故障发生在UTC时间12:20至15:45之间。
Spotify如何防止未来类似故障的发生？
Spotify将改善配置变更的发布方式和监控能力，以防止类似问题。
Envoy崩溃后发生了什么情况？
所有Envoy实例同时重启，导致流量激增，暴露了配置错误。
➡️
