RocketMQ 存储机制浅析
内容提要
RocketMQ是发布订阅体系，通过Broker节点解耦上下游。存储模型采用音讯刷盘至文件系统做持久化。RocketMQ使用PageCache机制和异步刷盘提升性能。
关键要点
-
RocketMQ 是一个发布订阅体系，通过 Broker 节点解耦上下游。
-
Broker 节点负责数据的中转和持久化，存储模型优秀。
-
RocketMQ 使用音讯刷盘至文件系统进行持久化，提升 I/O 读写效率。
-
Broker Store 目录结构包括 abort、checkpoint、commitlog、config、consumequeue、index 和 lock。
-
CommitLog 是所有 Topic 的有序存储，文件大小默认为 1G，文件名为起始偏移量。
-
音讯存储格式包括 MagicCode、BodyCRC、QueueId、QueueOffset、PhysicalOffset、SysFlag、BornTimestamp 等。
-
RocketMQ 的 Commitlog 和 Consumequeue 文件采用顺序写入，提升写入速度。
-
PageCache 机制通过内存缓存提升性能，异步刷盘可能导致数据丢失风险。
-
RocketMQ 采用 mmap 和 sendfile 实现零拷贝，提升性能。
-
ConsumeQueue 记录音讯在 CommitLog 中的偏移量，帮助消费者快速定位音讯。
-
IndexFile 结构支持通过 MsgID 或 MessageKey 查询音讯，提升读取速度。
-
Checkpoint 记录 CommitLog、ConsumeQueue、Index 文件的刷盘时刻点，支持数据恢复。
延伸问答
RocketMQ的存储机制是如何工作的？
RocketMQ通过将音讯刷盘至文件系统实现持久化，使用Broker节点解耦上下游，并采用PageCache机制和异步刷盘提升性能。
RocketMQ的CommitLog文件有什么特点？
CommitLog文件是所有Topic的有序存储，默认大小为1G，文件名为起始偏移量，支持快速定位音讯。
ConsumeQueue在RocketMQ中有什么作用？
ConsumeQueue记录音讯在CommitLog中的偏移量，帮助消费者快速定位音讯，提升消费效率。
RocketMQ如何提升读写性能？
RocketMQ通过顺序写入、PageCache机制和零拷贝技术（mmap和sendfile）来提升读写性能。
RocketMQ的异步刷盘有什么风险？
异步刷盘可能导致数据丢失风险，因为在Broker宕机时，音讯可能尚未写入底层磁盘文件。
RocketMQ的IndexFile结构是怎样的？
IndexFile结构支持通过MsgID或MessageKey查询音讯，提升读取速度，便于快速定位音讯。
