Kafka核心逻辑介绍

Kafka是一个高吞吐量、低延迟的分布式消息系统，适用于实时数据处理。

Kafka通过生产者和消费者模型，以及分区和副本机制，确保数据的持久性和可靠性。

Kafka的高可用性依赖于ZooKeeper管理集群信息，支持多种消费模式。

Kafka支持热扩展，能够处理数千个客户端的高并发读写。

消息是Kafka的基本单位，包含key和value，通过分区路由。

Kafka的消息持久化到本地磁盘，使用日志文件保存。

Producer是消息生产者，Consumer是消息消费者，Consumer Group提高消费能力。

Broker是Kafka集群中的一台机器，Controller管理集群信息。

Topic将消息分类，Partition提高扩展性和并发能力。

Replication机制确保数据备份，Leader和Follower角色保证容错性。

Kafka的高吞吐量源于数据批量发送和顺序读写。

ACK机制提供不同级别的消息确认，确保数据可靠性。

Kafka支持推拉结合的消费方式，提供多种消费保证策略。

HW（高水位）标识特定消息偏移量，确保消费者只能拉取到有效消息。

Kafka的消费组成员数量应与分区数量一致，避免资源浪费。