Raft Kafka on k8s 部署实战操作
内容提要
本文介绍了在Kubernetes上布置Raft Kafka集群的基本步骤,包括预备Kubernetes集群、装置Helm、装备Helm chart、运用Helm布置Kafka集群、测验验证、更新集群和删去集群等。
延伸解读
KRaft 模式的核心变化
文章指出,Raft Kafka 即 Kafka 3.3.1 及以上版本引入的 KRaft 模式,其最大特点是去除了对 Zookeeper 的依赖。这意味着在 Kubernetes 上部署时,不再需要单独维护 Zookeeper 集群,从而简化了整体架构和运维管理。对于已经熟悉 Kafka 但尚未接触 KRaft 的读者,这是一个重要的模式转变。
部署前的关键准备
部署前需确保 Kubernetes 集群正常运行并配置 kubectl,同时安装 Helm 并验证版本。文章使用 Bitnami 的 Kafka Helm chart,并提供了 values.yaml 示例,其中启用了 KRaft 模式,并配置了 controller 和 broker 各 3 个副本,以及本地持久化存储。这些配置直接影响集群的可用性和数据持久性,需根据实际环境调整。
存储与网络配置要点
示例中使用了 local 类型的 PersistentVolume,并指定了宿主机路径和节点亲和性,这要求提前在对应节点上创建目录。同时,Service 类型为 NodePort,并指定了客户端端口 32181。这种配置适合测试或特定网络环境,但在生产环境中可能需要考虑更动态的存储方案和更灵活的暴露方式。
验证与生命周期管理
部署后,文章通过创建客户端 Pod 来测试集群,包括主题的创建、描述和删除,以及生产者和消费者的消息收发。这有助于确认集群功能正常。此外,使用 helm upgrade 和 helm uninstall 可以方便地更新或删除集群,体现了 Helm 在应用生命周期管理上的便利性。
Q&A
如何在Kubernetes上布置Raft Kafka集群?
布置Raft Kafka集群的步骤包括预备Kubernetes集群、装置Helm、装备Helm chart、运用Helm布置Kafka集群、测验验证、更新集群和删去集群。
Raft Kafka与传统Kafka的主要区别是什么?
Raft Kafka不再依赖Zookeeper,简化了Kafka集群的管理。
如何验证Helm是否成功安装?
可以通过运行命令'helm version'和'helm help'来验证Helm是否成功安装。
如何创建和删除Kafka主题?
使用命令'kafka-topics.sh --create'创建主题,使用'kafka-topics.sh --delete'删除主题。
如何更新已部署的Kafka集群?
使用命令'helm upgrade kraft ./kafka -n kraft'来更新已部署的Kafka集群。
在Kubernetes上如何测试Kafka集群的功能?
可以通过创建客户端pod并使用生产者和消费者命令进行消息的发送和接收来测试Kafka集群的功能。