RocketMQ 存储机制浅析
💡
原文中文，约5400字，阅读约需13分钟。
📝
内容提要
RocketMQ是发布订阅体系，通过Broker节点解耦上下游。存储模型采用音讯刷盘至文件系统做持久化。RocketMQ使用PageCache机制和异步刷盘提升性能。
🎯
关键要点
- RocketMQ 是一个发布订阅体系，通过 Broker 节点解耦上下游。
- Broker 节点负责数据的中转和持久化，存储模型优秀。
- RocketMQ 使用音讯刷盘至文件系统进行持久化，提升 I/O 读写效率。
- Broker Store 目录结构包括 abort、checkpoint、commitlog、config、consumequeue、index 和 lock。
- CommitLog 是所有 Topic 的有序存储，文件大小默认为 1G，文件名为起始偏移量。
- 音讯存储格式包括 MagicCode、BodyCRC、QueueId、QueueOffset、PhysicalOffset、SysFlag、BornTimestamp 等。
- RocketMQ 的 Commitlog 和 Consumequeue 文件采用顺序写入，提升写入速度。
- PageCache 机制通过内存缓存提升性能，异步刷盘可能导致数据丢失风险。
- RocketMQ 采用 mmap 和 sendfile 实现零拷贝，提升性能。
- ConsumeQueue 记录音讯在 CommitLog 中的偏移量，帮助消费者快速定位音讯。
- IndexFile 结构支持通过 MsgID 或 MessageKey 查询音讯，提升读取速度。
- Checkpoint 记录 CommitLog、ConsumeQueue、Index 文件的刷盘时刻点，支持数据恢复。
➡️
