Kafka 核心技术与实战：消费者
一、Consuemr Group
Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。
老版本的 Consumer Group 把位移保存在 ZooKeeper 中。新版本的 Consumer Group 将位移保存在 Broker 端的内部主题中。
Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 Consumer 如何达成一致，来分配订阅 Topic 的每个分区。
举个简单的例子，假设目前某个 Consumer Group 下有两个 Consumer，比如 A 和 B，当第三个成员 C 加入时，Kafka 会触发 Rebalance，并根据默认的分配策略重新为 A、B 和 C 分配分区，如下图所示：
但在 Rebalance 过程中，所有 Consumer 实例都会停止消费，等待 Rebalance 完成。
二、Offsets Topic
__consumer_offsets 在 Kafka 源码中有个更为正式的名字，叫位移主题，即 Offsets Topic。
位移主题的 Key 中应该保存 3 部分内容：<Group ID，主题名，分区号 >
当 Kafka 集群中的第一个 Consumer 程序启动时，Kafka 会自动创建位移主题。如果位移主题是 Kafka 自动创建的，那么该主题的分区数是 50，副本数是 3。
Kafka 使用 Compact 策略来删除位移主题中的过期消息，避免该主题无限期膨胀。
This chapter requires login to view full content. You are viewing a preview.
Login to View Full ContentCourse Curriculum
1
编程根基：数据结构、算法与系统基础
掌握常用数据结构与算法思想，理解操作系统进程/内存管理及网络 TCP/IP 模型，为后续性能分析、并发设计和系统调优提供底层认知支撑。
2
Java 内核：JVM 与并发编程
深入 JVM 内存布局、垃圾回收机制与 Java 内存模型，熟练使用并发工具类与锁原语，写出线程安全、低延迟、可诊断的高性能 Java 代码。
3
框架与 I/O：Spring、Netty 与 Web 容器
理解 Spring Boot 自动装配、AOP 与事务原理，掌握 Netty Reactor 模型及 Tomcat 连接处理机制，构建高内聚、易扩展的应用服务层。
4
高性能中间件：消息、缓存与存储
熟练运用 MySQL 索引/事务、Redis 缓存策略、Kafka/RocketMQ 消息可靠性，以及 ZooKeeper 分布式协调，搭建稳定、解耦的分布式数据底座。
5
架构能力：高可用、DDD 与系统设计
基于领域驱动设计划分限界上下文，结合限流、熔断、多活容灾等手段，设计可演进、可观测、故障自愈的大规模业务系统。
6
云原生：容器化、可观测性与工程效能
通过 Docker/K8s 实现弹性部署，集成 Metrics/Logs/Traces 构建可观测体系，推动 DevOps 与自动化，让架构在云上持续交付与进化。
Speaker
Songran Zhang
@Aliyun | Qwen Chat
Songran Zhang is senior systems architect at Aliyun, a speaker, and an author. Over the past 15 years, he's mastered architectures from cloud-native systems to AI-powered LLM platforms, building deep technical expertise across large-scale, high-availability systems.
