QingHao's Blog
·
一次 K8s 集群内网故障的排查记录
内容提要
本文记录了Kubernetes集群中Pod间网络性能问题的排查过程，发现使用flannel VXLAN导致网络速度极慢。通过将flannel后端切换为host-gw，Pod间带宽从1-2 Mbit/s提升至10 Gbit/s，成功解决了下载超时的问题。文章总结了排查经验，并对比了K8s网络模式，强调了VXLAN在特定环境下的性能问题及host-gw的优势。
关键要点
-
Kubernetes 集群内 Pod 间网络性能极慢，使用 flannel VXLAN 导致带宽仅为 1-2 Mbit/s。
-
通过将 flannel 后端切换为 host-gw，Pod 间带宽提升至 10 Gbit/s，成功解决下载超时问题。
-
在排查过程中，发现 Node 间带宽正常，问题集中在 Pod 间的 CNI 或 overlay 隧道。
-
VXLAN 在特定虚拟化环境下表现不佳，可能导致性能问题。
-
host-gw 模式通过静态路由实现 Pod 间直接连接，性能更接近原生路由。
-
排查经验包括使用 iperf3 进行基准测试，观察网络链路和错误统计，确保变更 CNI Backend 有计划。
-
总结了几种常见 K8s 网络模式的优缺点，强调在特定环境下选择合适的网络模式的重要性。
延伸解读
K8s 网络模式选择的重要性
在 Kubernetes 集群中，选择合适的网络模式至关重要。本文强调了 VXLAN 和 host-gw 的对比，指出在特定虚拟化环境下，VXLAN 可能导致性能问题，而 host-gw 则能提供更高的带宽和更低的延迟。用户在部署时应根据实际网络环境和性能需求做出明智选择。
排查网络问题的有效方法
文章中提到使用 iperf3 进行基准测试是排查网络性能问题的有效手段。通过对比 Pod 间和 Node 间的带宽，可以迅速定位问题所在，避免在应用层浪费时间。建议用户在遇到网络性能问题时，优先进行此类测试，以便快速找到根源。
VXLAN 的局限性
VXLAN 在某些虚拟化环境中可能表现不佳，尤其是在高带宽和小 MTU 的情况下。文章指出，封装开销和底层网络的质量对 VXLAN 性能影响显著。因此，在选择网络方案时，需考虑底层网络的特性，以避免潜在的性能瓶颈。
延伸问答
Kubernetes集群中Pod间网络性能问题的主要原因是什么？
主要原因是使用flannel VXLAN导致网络速度极慢，带宽仅为1-2 Mbit/s。
如何解决Kubernetes集群中Pod间网络速度慢的问题？
通过将flannel的Backend从VXLAN切换为host-gw，Pod间带宽提升至10 Gbit/s。
在排查Kubernetes网络问题时，使用了哪些工具？
使用了iperf3进行基准测试，观察网络链路和错误统计。
VXLAN在特定环境下表现不佳的原因是什么？
VXLAN在虚拟化环境中可能导致性能问题，尤其是在高带宽和小MTU的情况下。
host-gw模式相比于VXLAN模式有什么优势？
host-gw模式通过静态路由实现Pod间直接连接，性能更接近原生路由，延迟低、带宽高。
在Kubernetes中，如何确认CNI Backend的变更？
可以通过kubectl命令查看ConfigMap，确认Backend类型是否已更改为host-gw。
