💡
原文中文，约7400字，阅读约需18分钟。
📝
内容提要
本文比较了三款主流消息队列（Kafka、RocketMQ、JMQ），分析了它们的存储架构、数据组织和索引设计。Kafka以高吞吐的分区日志流为核心，RocketMQ通过分离式设计优化数据存储与索引查询，JMQ则结合两者优点以满足京东内部需求。文章详细探讨了各自的设计优势和适用场景。
🎯
关键要点
- 消息队列的存储架构影响可靠性、吞吐量和延迟性能。
- Kafka、RocketMQ和JMQ是三款主流消息队列，各有特点。
- Kafka的核心存储模型是分区日志流，支持高吞吐量。
- RocketMQ采用分离式设计，优化数据存储与索引查询。
- JMQ结合Kafka和RocketMQ的优点，满足京东内部需求。
- Kafka使用主题和分区组织数据，确保消息有序性。
- Kafka的分区设计提高了性能，但存在单点故障问题。
- Kafka的消息读写过程依赖于索引文件和段文件。
- RocketMQ的CommitLog存储所有主题的原始消息，ConsumeQueue提供快速查询。
- RocketMQ的IndexFile支持按消息Key查询，提升查询效率。
- JMQ的PartitionGroup设计支持高并发写入，优化了消息存储。
- JMQ使用DirectBuffer作为缓存，提升写入性能。
- JMQ的定长稠密索引设计简化了消息查找过程。
- JMQ在高并发场景下表现优异，适合京东内部应用。
- JMQ与Kafka在性能上相当，但在三副本场景中，JMQ表现更优。
- RocketMQ在多分区同步写入方面表现稳定，适合复杂部署。
❓
延伸问答
Kafka的核心存储模型是什么？
Kafka的核心存储模型是分区日志流，数据以主题和分区的形式组织，确保消息的有序性。
RocketMQ的存储架构有什么特点？
RocketMQ采用分离式设计，使用CommitLog、ConsumeQueue和IndexFile三层结构，优化了数据存储与索引查询。
JMQ是如何结合Kafka和RocketMQ的优点的？
JMQ结合了Kafka的分区日志和RocketMQ的索引设计，优化了消息存储和查询性能，适应京东内部需求。
Kafka在性能上存在哪些潜在问题？
Kafka的分区设计虽然提高了性能，但存在单点故障问题，可能影响系统的可靠性。
RocketMQ的ConsumeQueue是如何提高查询效率的？
ConsumeQueue通过存储消息的物理地址、偏移量和长度，提供快速查询，避免了遍历CommitLog的低效。
JMQ在高并发场景下的表现如何？
JMQ在高并发场景下表现优异，采用PartitionGroup设计支持高并发写入，适合京东内部应用。
➡️
