kube-proxy IPVS 后端移除计划

💡 原文英文,约1500词,阅读约需6分钟。
📝

内容提要

Kubernetes 1.35 正式弃用 kube-proxy 的 IPVS 后端,并计划在 1.40 移除。IPVS 虽缓解了 iptables 的性能扩展问题,但与 Service API 不匹配、功能不全、维护复杂,且依赖 iptables 和 ipset。官方建议迁移到 nftables 后端(1.33 已 GA,性能略优于 IPVS);无法迁移者可改用大幅优化的 iptables 后端。切换只需修改 kube-proxy 配置并重启。

🔎

延伸解读

IPVS 后端的固有缺陷与维护困境

文章指出,IPVS 后端虽解决了 iptables 的扩展性问题,但内核 IPVS API 与 Kubernetes Service API 不匹配,始终无法完整实现 Service 的所有边缘功能。此外,IPVS 缺少批量更新操作,大量变更时可能比 iptables 更慢;且需回退到 iptables 和 ipset 实现部分功能,继承了后者的扩展性瓶颈。原维护者离开后,代码维护复杂,最终促使 SIG Network 决定弃用。

IPVS 调度器的实际效果有限

部分用户青睐 IPVS 的多种调度器,但 kube-proxy 是分布式服务,各节点不共享调度器状态,导致大多数调度器无法有效工作。即使是为分布式设计的 mh 调度器(基于 Maglev 哈希),在 kube-proxy 架构下也不比随机选择更好。因此,IPVS 调度器并未带来预期的负载均衡优势,这削弱了保留 IPVS 的理由。

迁移建议与版本注意事项

官方推荐迁移到 nftables 后端,但需注意:nftables 后端在 1.33 已 GA,然而部分性能修复未回溯到 1.36 之前的版本。因此,若使用 Kubernetes 1.36 及以上且内核 5.13 以上,建议切换至 nftables;否则可考虑 iptables 后端。切换 nftables 只需修改配置并重启 kube-proxy;切换 iptables 则建议重启节点。用户应根据集群版本和内核条件选择迁移路径。

❓

Q&A

kube-proxy 的 IPVS 后端什么时候会被正式移除?

Kubernetes 1.35 正式弃用 IPVS 后端,并计划在 Kubernetes 1.40 中移除。目前它仍可用,但会显示弃用警告。

为什么 Kubernetes 要弃用 kube-proxy 的 IPVS 后端?

IPVS 后端虽然解决了 iptables 的性能扩展问题,但与 Kubernetes Service API 不匹配,无法正确实现所有边缘情况;功能不全、架构复杂且维护困难;还依赖 iptables 和 ipset,而 Red Hat 计划从 RHEL 中移除 iptables API,导致长期支持问题。

IPVS 后端最初是为了解决 iptables 的哪些性能问题?

IPVS 后端主要解决两个问题:一是数据平面延迟,iptables 需要为每个服务 IP 写规则,新连接匹配规则的时间随服务数量线性增长;二是控制平面延迟,iptables 在每次服务或端点变更时重写整个规则集,在大集群中会消耗大量 CPU 和内存。IPVS 使用哈希表和非全量重写解决了这些扩展性问题。

从 IPVS 迁移到 nftables 后端有什么要求?如何操作?

建议运行 Kubernetes 1.36 或更高版本,且节点 Linux 内核为 5.13 或更高版本。切换只需修改 kube-proxy 配置(例如在 kubeadm 集群中将 mode: ipvs 改为 mode: nftables)并重启 kube-proxy Pod。nftables 后端已 GA、功能完整,性能略优于 IPVS。

如果无法迁移到 nftables,还有什么替代方案?

可以改用 iptables 后端。自 2017 年以来 iptables 后端已大幅优化:规则集去冗余、代码减少分配、采用“假设当前状态正确”的更新策略、仅更新变更的服务/端点规则等,显著降低了数据平面延迟和同步开销。切换时建议修改 kube-proxy 配置后重启每个节点。

IPVS 后端为什么无法有效利用 IPVS 的各种调度器?

因为 kube-proxy 是分布式服务,各节点的 kube-proxy 进程不共享 IPVS 调度器状态,每个节点独立选择端点,无法感知其他节点的客户端情况。即使是为分布式设计的调度器(如 mh 使用 Maglev 哈希),在 kube-proxy 架构下也无法发挥优势,效果通常不如随机选择。

🏷️

标签

➡️

继续阅读