Kafka 4.0 最重大的变革是 KRaft（Kafka Raft）模式 成为默认配置，完全移除了对 Apache ZooKeeper 的依赖。这一架构转变带来显著优势：
- 简化部署与运维：无需再维护独立的 ZooKeeper 集群
在 Kafka 3.x 及更早版本中，ZooKeeper 作为元数据管理的核心组件，负责以下关键任务：
- Broker 注册
- Topic 分区分配
- 控制器选举
KRaft 模式技术实现
KRaft（Kafka Raft）是在 KIP-500 中引入的共识协议，核心原理包括：
- 元数据自管理：基于 Raft 共识算法，将元数据存储于内置的__cluster_metadata 主题
- 日志复制机制：所有 Broker 作为 Raft 协议的 Follower，实时复制 Controller 的元数据日志
- 快照与恢复：定期生成元数据快照，将故障恢复时间从分钟级优化至秒级
2. 面试题核心知识点
Kafka 4.0 的架构革新对分布式系统核心概念（共识算法、元数据管理、消费者协调机制等）进行了深度重构。鉴于 Kafka 在分布式系统面试中的高频出现，面试准备需结合最新架构特点，重点更新分布式一致性、分区容错、消息消费语义等相关知识体系。
KRaft 模式相关问题
Q: 什么是 KRaft 模式，为什么 Kafka 要从 ZooKeeper 迁移到 KRaft？
A: KRaft (Kafka Raft) 是 Kafka 4.0 引入的默认元数据管理模式，使用 Raft 共识算法取代 ZooKeeper。迁移原因包括：简化架构（消除对外部系统依赖）、提升可扩展性（支持更多分区）、改善性能（元数据操作更快）以及降低运维复杂度。
Q: KRaft 模式相比 ZooKeeper 模式有哪些具体优势？
A: 主要优势包括：
- 架构简化：无需管理独立的 ZooKeeper 集群
- 大幅提升可扩展性：支持约 190 万分区（3 节点集群）
- 元数据操作更高效：主题创建、配置更改等操作更快
- 故障恢复更快：领导者转移从数秒降至数百毫秒
- 单一安全模型：统一了认证和授权机制
Q: KRaft 模式中，Controller 和 Broker 的关系是什么？
A: 在 KRaft 模式中，Kafka 集群包含两种角色：Controller 和 Broker。Controller 负责元数据管理和集群协调，使用 Raft 协议保持元数据一致性；Broker 负责数据存储和处理客户端请求。节点可以同时承担这两种角色（Combined 模式）或仅承担其中一种（分离模式），提供了更灵活的部署选项。
3. 新一代消费者重平衡协议
传统消费者组采用 Eager Rebalance 协议，存在两大问题：
- 全局同步屏障（Stop-the-World）：任何成员变更都会触发全组暂停
- 扩展性差：大规模消费者组重平衡耗时高
Kafka 4.0 引入 增量式重平衡协议（KIP-848），关键改进包括：
- 协调逻辑转移：由 Broker 端的
GroupCoordinator统一调度 - 增量分配：仅调整受影响的分区，未变更分区可继续消费
- 容错优化：局部故障仅触发局部重平衡，避免全组停机
性能对比显著：
| 指标 | 传统协议 | 新协议 |
|---|---|---|
| 重平衡延迟（万级组） | 60 秒 | <1 秒 |
| 资源消耗（CPU） | 高 | 降低 70% |
| 扩展上限 | 千级消费者 | 十万级消费者 |
4. 点对点消息模型与共享组
传统模型的限制
传统 Kafka 主要采用发布 - 订阅模式，存在限制：
- 分区需与消费者一一绑定
- 无法实现多消费者协同处理同一分区消息
- 消费者数量不能超过分区数量
共享组（Share Group）机制
Kafka 4.0 通过引入”队列”功能，即 共享组（Share Group），实现点对点消费模式：
共享组的关键技术包括：
- 多消费者协同消费：同一分区的消息可由多个消费者并行处理
- 记录级锁机制：每条消息被消费时加锁（TTL 控制），防止重复处理
- ACK/NACK语义：支持逐条确认或重试
特性对比：
| 特性 | 传统消费者组 | 共享组 |
|---|---|---|
| 并行消费 | 分区数=消费者数 | 消费者数>分区数 |
| 消息确认 | 偏移量提交 | 逐条 ACK/NACK |
| 投递语义 | At-Least-Once | Exactly-Once（可选） |
5. 更多重要改进
5.1 移除旧协议 API 版本
Kafka 4.0 移除了旧版本的协议 API，系统基准协议直接提升至 Kafka 2.1 版本：
- 简化代码结构，统一接口
- 减少冗余配置项
- 提高系统整体性能
5.2 Java 版本要求升级
- Kafka 客户端和 Streams 需要 Java 11
- Kafka 代理、Connect 和工具需要 Java 17
5.3 其他技术改进
动态配置优化：
- 线程自动调整，提升资源利用率
- 支持基于时间点的消费（如 24 小时前）
安全性增强：
- OAuth 2.0 集成
- 审计日志，记录元数据操作
总结
Kafka 4.0 通过彻底摒弃 ZooKeeper，全面采用 KRaft 模式，极大简化了部署和维护，显著提升了系统性能和稳定性。新一代消费者重平衡协议和队列功能的引入，为开发者提供了更灵活和高效的消息处理模式，使 Kafka 成为更加独立、高效和易用的分布式消息系统。