一次「安全」的变更将 redis cluster 送进了孤岛
内容提要
由于 Redis Cluster 配置变更，导致集群状态异常。添加内网 IP 后，Redis 无法正常读写，最终回退配置恢复正常。问题源于健康检查时强制使用第一个绑定 IP（127.0.0.1），导致节点间通信失败。建议将可通信的 IP 放在首位，并改进健康检查机制，以避免类似错误。
关键要点
-
由于 Redis Cluster 配置变更，导致集群状态异常。
-
添加内网 IP 后，Redis 无法正常读写，最终回退配置恢复正常。
-
问题源于健康检查时强制使用第一个绑定 IP（127.0.0.1），导致节点间通信失败。
-
建议将可通信的 IP 放在首位，并改进健康检查机制，以避免类似错误。
-
如果配置了监听 127.0.0.1，Redis Cluster 将尝试使用本地地址与外部节点建立链接，导致失败。
-
所有支持 Cluster 的 Redis 版本均受影响，包括不稳定分支。
延伸解读
配置变更的风险
在进行 Redis Cluster 的配置变更时，需谨慎评估潜在风险。此次事件表明，简单的 IP 绑定变更可能导致集群通信失败，影响业务正常运行。因此，建议在变更前进行充分的测试和评估，确保配置的安全性和有效性。
健康检查机制的改进
文章指出，Redis Cluster 在健康检查时强制使用第一个绑定 IP，这一设计存在缺陷。为了避免类似问题，建议改进健康检查机制，例如在未初始化时不指定源地址，让操作系统自动分配，这样可以提高集群的稳定性和可靠性。
对开发者的启示
此次故障提醒开发者在进行系统配置时要保持敬畏之心。即使是看似简单的变更，也可能引发严重后果。建议在发布新配置前，建立严格的审核和测试流程，以降低人为失误的风险，确保系统的稳定性。
延伸问答
Redis Cluster 配置变更导致了什么问题？
Redis Cluster 配置变更后，集群状态异常，无法正常读写，最终需要回退配置才能恢复正常。
为什么 Redis Cluster 在健康检查时会使用第一个绑定 IP？
Redis Cluster 在健康检查时强制使用绑定配置中的第一个 IP（127.0.0.1），导致节点间通信失败。
如何避免 Redis Cluster 配置变更导致的通信失败？
建议将可通信的 IP 放在绑定配置的首位，并改进健康检查机制。
Redis Cluster 的健康检查机制是如何工作的？
Redis Cluster 通过定期判断集群状态，使用绑定的源地址进行节点间的健康检查。
所有支持 Cluster 的 Redis 版本是否都受此问题影响？
是的，所有支持 Cluster 的 Redis 版本，包括不稳定分支，都受到此问题的影响。
在初始化新的 Redis Cluster 时，配置会有什么影响？
如果在初始化时配置了监听 127.0.0.1，将导致 redis-trib.rb 工具长期阻塞，无法成功执行。
