DEV Community
·
掌握分布式系统中的重试策略：防止重试风暴，确保系统弹性
内容提要
人类在失败时会本能地重试，分布式系统也应如此。重试瞬时错误可提高可用性，但若不加控制，可能引发“重试风暴”，加剧故障。因此，应在瞬时故障时重试，而对客户端错误和持续故障则应避免重试。可通过限制重试次数、使用断路器和动态调整重试率等方式防止重试风暴，确保系统稳定性。
关键要点
-
人类在失败时会本能地重试，分布式系统也应如此。
-
重试瞬时错误可以显著提高可用性，但不加控制可能引发重试风暴。
-
应避免在客户端错误和持续故障时重试。
-
重试可以提高系统的可用性，尤其是在严格的服务水平协议(SLA)下。
-
重试风暴可能导致故障加剧，特别是在深层调用图中。
-
防止重试风暴的方法包括限制重试次数、使用断路器和动态调整重试率。
-
使用有界重试限制每个时间窗口或操作的重试次数。
-
断路器在故障超过阈值时停止重试，确保系统稳定性。
-
动态调整重试率，成功时缓慢增加，失败时迅速减少。
-
使用指数退避和抖动来平滑重试流量，防止同步峰值。
-
实施服务器端保护措施，如返回标准化的重试响应和负载削减。
-
分类错误，仅对瞬时故障进行重试，并根据SLA限制重试次数。
-
通过监控和混沌工程实验不断优化重试策略。
延伸问答
什么是重试风暴，它是如何产生的？
重试风暴是指在分布式系统中，由于对瞬时错误的重试导致的级联故障，可能会在深层调用图中产生成百上千的冗余调用，从而加剧故障。
在什么情况下应该避免重试？
应避免在客户端错误（如4xx错误）、故障持续的情况下以及当故障是由于故意限流或负载削减时进行重试。
如何防止重试风暴的发生？
可以通过限制重试次数、使用断路器、动态调整重试率、采用指数退避和抖动等方法来防止重试风暴。
重试策略如何提高系统的可用性？
重试策略可以在瞬时故障时提高系统的可用性，尤其是在严格的服务水平协议(SLA)下，通过增加成功的调用尝试次数来提升整体可用性。
什么是有界重试，它有什么作用？
有界重试是指限制每个时间窗口或操作的重试次数，以防止重试风暴的发生，确保系统的稳定性。
动态调整重试率的机制是什么？
动态调整重试率的机制是根据成功时缓慢增加重试次数，失败时迅速减少重试次数，以找到不造成过载的平衡点。
