Kafka 生产中常用运维命令
💡
原文中文,约6900字,阅读约需17分钟。
📝
内容提要
Kafka是一种消息引擎,处理消息的主要对象是Record。主题是承载消息的逻辑容器,分区是有序的消息序列。副本提供数据冗余,分为领导者副本和追随者副本。生产者发布新消息,消费者订阅新消息。重平衡是消费者组内重新分配订阅主题分区的过程。Kafka运维常用操作包括创建主题、查看主题列表和详情、创建生产者和消费者、查看消费组和消费者组的消费情况、修改分区数、设置主题级别参数、设置限速、主题分区迁移、删除主题、重设位移等。
🎯
关键要点
-
Kafka是消息引擎,主要处理对象是Record。
-
主题是承载消息的逻辑容器,分区是有序的消息序列。
-
副本提供数据冗余,分为领导者副本和追随者副本。
-
生产者向主题发布新消息,消费者从主题订阅新消息。
-
重平衡是消费者组内重新分配订阅主题分区的过程。
-
Kafka运维常用操作包括创建主题、查看主题列表和详情、创建生产者和消费者等。
-
创建主题时可设置副本数和分区数。
-
查看主题详情和消费组情况的命令。
-
修改分区数和主题级别参数的命令。
-
设置主题限速以控制副本同步带宽。
-
主题分区迁移使用kafka-reassign-partitions脚本。
-
删除主题的操作是异步的,需要等待一段时间。
-
重设位移可以根据位移值或时间维度进行。
-
提供了7种重设策略,包括Earliest、Latest、Current等。
-
通过消费者API或kafka-consumer-groups命令行脚本重设位移。
-
每种重设策略都有对应的命令实现方式。
➡️