Kafka 生产中常用运维命令

💡 原文中文,约6900字,阅读约需17分钟。
📝

内容提要

Kafka是一种消息引擎,处理消息的主要对象是Record。主题是承载消息的逻辑容器,分区是有序的消息序列。副本提供数据冗余,分为领导者副本和追随者副本。生产者发布新消息,消费者订阅新消息。重平衡是消费者组内重新分配订阅主题分区的过程。Kafka运维常用操作包括创建主题、查看主题列表和详情、创建生产者和消费者、查看消费组和消费者组的消费情况、修改分区数、设置主题级别参数、设置限速、主题分区迁移、删除主题、重设位移等。

🎯

关键要点

  • Kafka是消息引擎,主要处理对象是Record。

  • 主题是承载消息的逻辑容器,分区是有序的消息序列。

  • 副本提供数据冗余,分为领导者副本和追随者副本。

  • 生产者向主题发布新消息,消费者从主题订阅新消息。

  • 重平衡是消费者组内重新分配订阅主题分区的过程。

  • Kafka运维常用操作包括创建主题、查看主题列表和详情、创建生产者和消费者等。

  • 创建主题时可设置副本数和分区数。

  • 查看主题详情和消费组情况的命令。

  • 修改分区数和主题级别参数的命令。

  • 设置主题限速以控制副本同步带宽。

  • 主题分区迁移使用kafka-reassign-partitions脚本。

  • 删除主题的操作是异步的,需要等待一段时间。

  • 重设位移可以根据位移值或时间维度进行。

  • 提供了7种重设策略,包括Earliest、Latest、Current等。

  • 通过消费者API或kafka-consumer-groups命令行脚本重设位移。

  • 每种重设策略都有对应的命令实现方式。

➡️

继续阅读