Kafka核心逻辑介绍 | 京东云技术团队

Kafka是Linkedin开发的分布式消息系统，具有高吞吐量、低延迟、可扩展性、持久性、可靠性和高并发等特点。它支持多副本和分区，实时处理大量数据。Kafka的基本单位是消息，由key和value组成，根据策略路由到不同的分区。Kafka还有生产者、消费者、消费者组、分区、副本、Leader、Follower、Offset、ZooKeeper等概念。Kafka的高性能和高可用性通过数据批量发送、磁盘顺序读写、数据压缩传输、分区划分等方式实现。消费方式可以是最多一次、最少一次或精确一次。