Kafka 4.0 采用 KRaft 模式简化架构

正文

请到「今天看啥」查看全文

随着 Apache Kafka 在即将发布的 Kafka 4.0 中采用 KRaft，ZooKeeper 将退居二线，这标志着这段长达 14 年的合作关系即将结束。这一转变简化了 Kafka 的架构，抛弃了独立的 ZooKeeper 系统，提高了可扩展性，并为自给自足的未来铺平了道路 —— 这一切都要归功于 KRaft 的 Raft 协议。

此外：

为什么要改变？ZooKeeper 的开销和限制（10 万多个分区）跟不上 Kafka 的增长。还有：KRaft 的优势：一个系统，数以百万计的分区，更快的恢复 —— Kafka 已经准备好翱翔蓝天！

除了架构上的转变，Kafka 4.0 还正式引入了下一代消费者组协议 KIP-848 。这一新协议旨在大幅提高再平衡性能，减少消费者组的停机时间和延迟，尤其是在大规模环境中。通过最大限度地减少“停止世界（stop-the-world）”的再平衡，Kafka 旨在提供更稳定、响应更快的数据流体验。在服务器端，新协议默认启用，消费者端则需要通过设置 group.protocol=consumer 进行选用。

在 Hacker News 上的一个讨论 中，一位回复者评论道：

从 SNS/SQS 切换到 Kafka 后，我立即注意到了一件事，那就是它的速度。消息几乎可以立即发送 / 接收。

此外，Kafka 4.0 还提供了 Queues for Kafka（ KIP-932 ）的早期试用。该功能引入了“共享组（share group）”的概念，可以使用常规的 Kafka 主题实现协同消费，从而让 Kafka 可以有效地支持传统的队列语义。虽然不是直接添加“队列”数据结构，但这一增强功能提高了 Kafka 的多功能性，使其适用于更广泛的消息传递用例，特别是那些需要类似于持久共享订阅的点对点消息传递模式的。

请到「今天看啥」查看全文