RocketMQ 持久化
RocketMQ 采用文件系统的方式来存储消息,消息的主要存储文件包括 CommitLog 文件、ConsumeQueue 文件、IndexFile 文件。
- CommitLog 是消息存储的物理文件,所有消息主题的消息都存储在 CommitLog 文件中,每个 Broker 上的 CommitLog 被当前机器上的所有 ConsumeQueue 共享。CommitLog 中的文件默认大小为 1G,可以动态配置; 当一个文件写满以后,会生成一个新的 CommitLog 文件。所有的 Topic 数据是顺序写入在 CommitLog 文件中的。
- ConsumeQueue 是消息消费的逻辑队列,消息达到 CommitLog 文件后将被异步转发到消息消费队列,供消息消费者消费,这里面包含 MessageQueue 在 CommitLog 中的物理位置偏移量 Offset,消息实体内容的大小和 Message Tag 的 hash 值。每个文件默认大小约为 600W 个字节,如果文件满了后会也会生成一个新的文件。
- IndexFile 是消息索引文件,Index 索引文件提供了对 CommitLog 进行数据检索,提供了一种通过 key 或者时间区间来查找 CommitLog 中的消息的方法。在物理存储中,文件名是以创建的时间戳明明,固定的单个 IndexFile 大小大概为 400M,一个 IndexFile 可以保存 2000W 个索引。
消息存储的整体结构

This chapter requires login to view full content. You are viewing a preview.
Login to View Full ContentCourse Curriculum
1
编程根基:数据结构、算法与系统基础
掌握常用数据结构与算法思想,理解操作系统进程/内存管理及网络 TCP/IP 模型,为后续性能分析、并发设计和系统调优提供底层认知支撑。
2
Java 内核:JVM 与并发编程
深入 JVM 内存布局、垃圾回收机制与 Java 内存模型,熟练使用并发工具类与锁原语,写出线程安全、低延迟、可诊断的高性能 Java 代码。
3
框架与 I/O:Spring、Netty 与 Web 容器
理解 Spring Boot 自动装配、AOP 与事务原理,掌握 Netty Reactor 模型及 Tomcat 连接处理机制,构建高内聚、易扩展的应用服务层。
4
高性能中间件:消息、缓存与存储
熟练运用 MySQL 索引/事务、Redis 缓存策略、Kafka/RocketMQ 消息可靠性,以及 ZooKeeper 分布式协调,搭建稳定、解耦的分布式数据底座。
5
架构能力:高可用、DDD 与系统设计
基于领域驱动设计划分限界上下文,结合限流、熔断、多活容灾等手段,设计可演进、可观测、故障自愈的大规模业务系统。
6
云原生:容器化、可观测性与工程效能
通过 Docker/K8s 实现弹性部署,集成 Metrics/Logs/Traces 构建可观测体系,推动 DevOps 与自动化,让架构在云上持续交付与进化。