从意图到执行：在大规模操作 Kubernetes 控制器的经验教训
内容提要
Kubernetes 控制器在 Amazon EKS 中管理网络流量和安全组。网络策略控制器决定 Pod 之间的通信，而 VPC 资源控制器分配安全组以控制对 AWS 资源的访问。随着集群规模扩大，控制器的内存占用和正确性变得至关重要，优化策略需确保状态完整，避免在不完整状态下执行不可逆操作。
关键要点
-
Kubernetes 控制器使平台的声明性模型成为现实，观察状态并进行调和。
-
在大规模集群中，控制器的内存占用和正确性变得至关重要。
-
网络策略控制器管理集群内部的流量，决定哪些 Pod 可以相互通信。
-
VPC 资源控制器通过分配安全组来管理 Pod 对 AWS 资源的访问。
-
Pod 通常没有自己的安全组，而是继承节点的安全组，这可能导致安全隐患。
-
控制器通过监控网络策略对象和 Pod，解析选择器到 IP，并将结果写入 PolicyEndpoint。
-
使用 eBPF 进行流量强制执行，避免了长链的 iptables 规则。
-
控制器在执行不可逆操作前，必须确保其缓存反映所有相关对象的现实状态。
-
在大规模集群中，内存优化可以显著减少控制器的内存占用。
-
优化可能不会真正消除约束，而是将其移动到新的地方，监控应反映系统的真实约束。
延伸解读
控制器的内存管理
在大规模 Kubernetes 集群中，控制器的内存占用是一个关键问题。随着节点和 Pod 数量的增加，控制器需要优化其内存使用，以避免性能瓶颈。通过精简缓存对象，仅保留必要字段，可以显著降低内存占用，从而提高系统的整体效率。
不可逆操作的风险
在执行不可逆操作之前，控制器必须确保其缓存反映所有相关对象的真实状态。若在缓存未完全加载时进行操作，可能导致意外删除仍在使用的资源。因此，设计时应考虑到状态完整性，以避免潜在的基础设施损失。
网络策略的实施挑战
网络策略控制器在管理 Pod 之间的通信时，必须将高层意图转化为具体的规则。随着 Pod 的频繁创建和销毁，确保这些规则的准确性和及时性变得尤为重要。控制器需要有效监控和更新策略，以防止不必要的流量开放或阻塞。
优化与约束的关系
在进行系统优化时，需注意优化可能并未真正消除约束，而是将其转移到新的地方。例如，IP 地址的碎片化问题可能在优化后依然存在，导致新的约束出现。因此，监控系统应反映真实的约束情况，以便及时发现潜在问题。
延伸问答
Kubernetes 控制器的主要功能是什么？
Kubernetes 控制器使平台的声明性模型成为现实，观察状态并进行调和。
在大规模集群中，控制器面临哪些挑战？
在大规模集群中，控制器的内存占用和正确性变得至关重要，必须确保状态完整以避免不可逆操作。
网络策略控制器如何管理 Pod 之间的通信？
网络策略控制器通过定义规则来决定哪些 Pod 可以相互通信，使用标签来表示意图。
VPC 资源控制器的作用是什么？
VPC 资源控制器通过分配安全组来管理 Pod 对 AWS 资源的访问，确保安全性。
如何优化控制器的内存占用？
通过定义所需字段并在缓存前剥离不必要的字段，可以显著减少控制器的内存占用。
在执行不可逆操作前，控制器需要注意什么？
控制器必须确保其缓存反映所有相关对象的现实状态，以避免在不完整状态下执行不可逆操作。
