Kafka源码解析与实战

出版者:机械工业出版社

作者:王亮

页数:260

出版时间:2017-12

价格:79.00

isbn号码:9787111584018

丛书系列:大数据技术丛书

具体描述

本书从LinkedIn（领英）公司内部大数据架构讲起，引申出消息队列Kafka，接着讲解Kafka的基本架构，然后着重分析Kafka内部的各模块实现细节。从诞生背景至架构组成，再到内部实现细节，由浅入深，循序渐进。本书不仅讲解Kafka内部的实现原理，而且还详细描述Kafka外部的维护工具，对外的客户端编程原理以及和第三方集成的方式。本书在讲解Kafka的过程中穿插了大量的图片，图文并茂，生动形象，使读者能更加深入地熟悉Kafka。

作者简介

王亮 架构师，曾在华为担任虚拟化技术工程师，后加入大华公司任分布式数据库系统架构师，研究兴趣为分布式存储、分布式数据库、消息系统等。

目录信息

序
前言
第1章　Kafka简介 1
1.1　Kafka诞生的背景 1
1.2　Kafka在LinkedIn内部的应用 3
1.3　Kafka的主要设计目标 4
1.4　为什么使用消息系统 4
1.5　本章小结 5
第2章　Kafka的架构 6
2.1　Kafka的基本组成 6
2.2　Kafka的拓扑结构 8
2.3　Kafka内部的通信协议 9
2.4　本章小结 12
第3章　Broker概述 13
3.1　Broker的启动 13
3.2　Broker内部的模块组成 15
3.3　本章小结 18
第4章　Broker的基本模块 19
4.1　SocketServer 19
4.2　KafkaRequestHandlerPool 25
4.3　KafkaApis 27
4.3.1　LogManager 27
4.3.2　ReplicaManager 37
4.3.3　OffsetManager 47
4.3.4　KafkaScheduler 51
4.3.5　KafkaApis 52
4.4　KafkaHealthcheck 81
4.5　TopicConfigManager 83
4.6　本章小结 85
第5章　Broker的控制管理模块 86
5.1　KafkaController的选举策略 86
5.2　KafkaController的初始化 91
5.2.1　Leader状态下KafkaController的初始化 91
5.2.2　Standby状态下KafkaController的初始化 94
5.3　Topic的分区状态转换机制 95
5.3.1　分区状态的分类 95
5.3.2　分区状态的转换 96
5.3.3　PartitionStateMachine模块的启动 102
5.4　Topic分区的领导者副本选举策略 103
5.4.1　NoOpLeaderSelector 104
5.4.2　Off?linePartitionLeaderSelector 104
5.4.3　ReassignedPartitionLeader-Selector 106
5.4.4　PreferredReplicaPartition-LeaderSelector 107
5.4.5　ControlledShutdownLeader-Selector 108
5.5　Topic分区的副本状态转换机制 109
5.5.1　副本状态的分类 110
5.5.2　副本状态的转换 111
5.5.3　ReplicaStateMachine模块的启动 117
5.6　KafkaController内部的监听器 118
5.6.1　TopicChangeListener 119
5.6.2　AddPartitionsListener 121
5.6.3　PartitionsReassignedListener 122
5.6.4　ReassignedPartitionsIsr-ChangeListener 128
5.6.5　PreferredReplicaElection-Listener 130
5.6.6　BrokerChangeListener 132
5.6.7　DeleteTopicsListener 135
5.7　Kafka集群的负载均衡流程 136
5.8　Kafka集群的Topic删除流程 140
5.9　KafkaController的通信模块 146
5.10　本章小结 150
第6章　Topic的管理工具 151
6.1　kafka-topics.sh 151
6.1.1　createTopic 153
6.1.2　alterTopic 156
6.1.3　listTopics 160
6.1.4　describeTopic 161
6.1.5　deleteTopic 163
6.2　kafka-reassign-partitions.sh 164
6.2.1　generateAssignment 166
6.2.2　executeAssignment 167
6.2.3　verifyAssignment 170
6.3　kafka-preferred-replica-election.sh 172
6.4　本章小结 175
第7章　生产者 176
7.1　设计原则 176
7.2　示例代码 176
7.3　模块组成 180
7.3.1　ProducerSendThread 180
7.3.2　ProducerPool 182
7.3.3　DefaultEventHandler 184
7.4　发送模式 189
7.4.1　同步模式 189
7.4.2　异步模式 189
7.5　本章小结 192
第8章　消费者 193
8.1　简单消费者 193
8.1.1　设计原则 193
8.1.2　消费者流程 194
8.1.3　示例代码 195
8.1.4　原理解析 200
8.2　高级消费者 202
8.2.1　设计原则 202
8.2.2　消费者流程 203
8.2.3　示例代码 204
8.2.4　原理解析 205
8.3　本章小结 227
第9章　Kafka的典型应用 228
9.1　Kafka和Storm的集成 228
9.1.1　Storm简介 228
9.1.2　示例代码 230
9.2　Kafka和ELK的集成 235
9.2.1　ELK简介 235
9.2.2　配置流程 236
9.3　Kafka和Hadoop的集成 237
9.3.1　Hadoop简介 237
9.3.2　示例代码 239
9.4　Kafka和Spark的集成 242
9.4.1　Spark简介 242
9.4.2　示例代码 245
9.5　本章小结 247
第10章　Kafka的综合实例 248
10.1　安防大数据的主要应用 248
10.2　Kafka在安防整体解决方案中的角色 249
10.3　典型业务 250
10.3.1　车辆人脸图片数据的入库 251
10.3.2　视频数据的入库 252
10.3.3　数据延时的监控 254
10.3.4　数据质量的监控 256
10.3.5　布控统计 258
10.3.6　容灾备份 259
10.4　本章小结 260
· · · · · · (收起)

读后感

带着几个问题而来，问题都得到了解答，是本好书； 其实，剖析任何一个软件，都需要从设计理念，宏观架构，微观代码结构，关键技术点 四个方面出发；这本书确实做的不错； 1）理念，或者说目标，是：1）O（1）的消息持久化能力；2）顺序能力；一个很有趣的权衡，是 topic-partit...  

带着几个问题而来，问题都得到了解答，是本好书； 其实，剖析任何一个软件，都需要从设计理念，宏观架构，微观代码结构，关键技术点 四个方面出发；这本书确实做的不错； 1）理念，或者说目标，是：1）O（1）的消息持久化能力；2）顺序能力；一个很有趣的权衡，是 topic-partit...  

带着几个问题而来，问题都得到了解答，是本好书； 其实，剖析任何一个软件，都需要从设计理念，宏观架构，微观代码结构，关键技术点 四个方面出发；这本书确实做的不错； 1）理念，或者说目标，是：1）O（1）的消息持久化能力；2）顺序能力；一个很有趣的权衡，是 topic-partit...  

【Kafka源码解析与实战】这本书，其实我接触互联网运维已经5年了，今年公司战略要上ELK日志系统，研发同事建议我对于消息队列Kafka先学习，但是由于工作的缘故，接触的不深入需要对Kafka更加深入，这本书主要介绍了kafka的实现原理和应用方法，我从事运维，主要是了解kafka的运...

【Kafka源码解析与实战】这本书，其实我接触互联网运维已经5年了，今年公司战略要上ELK日志系统，研发同事建议我对于消息队列Kafka先学习，但是由于工作的缘故，接触的不深入需要对Kafka更加深入，这本书主要介绍了kafka的实现原理和应用方法，我从事运维，主要是了解kafka的运...

用户评价

从排版和整体的阅读感受来说，这本书的质量也值得称赞。文字的流畅度和逻辑过渡自然得如同行云流水，即便是面对复杂的数据结构和多线程交互的场景，作者也总能找到最恰当的词汇和结构来阐明观点，避免了枯燥的术语堆砌。我特别喜欢作者在引入新概念时，总是先从一个现实中遇到的问题出发，然后再引出Kafka源码是如何优雅地解决这个问题的，这种“问题导向”的学习方式，极大地提高了读者的代入感和求知欲。全书的行文风格沉稳而又不失热情，没有浮夸的辞藻，却处处透露出对技术细节的敬畏之心。读完后，我感觉自己对分布式消息系统的理解不再是停留在API调用的层面，而是真正拥有了一把可以深入系统内部进行调试和优化的“瑞士军刀”。这本书无疑是为那些渴望从“使用者”蜕变为“构建者”的技术人员量身打造的精品。

真正让我眼前一亮的，是作者在处理并发和内存管理部分时的处理手法。Kafka作为高性能的I/O密集型系统，其零拷贝（Zero-Copy）、Page Cache的利用以及线程池的精细调度，是性能优化的核心。这本书并没有停留在概念层面，而是直接贴出了关键代码片段，并辅以对JVM垃圾回收机制、操作系统I/O模型之间相互作用的深入分析。这种跨领域的知识整合能力，显示出作者深厚的功底。阅读到这部分时，我几乎是抱着学习底层原理的心态去阅读的，发现作者对如何最小化上下文切换、如何高效利用硬件特性来加速数据传输的讲解，简直是教科书级别的示范。特别是对于内存映射文件（Mmap）在Kafka中的应用和局限性，作者给出了非常平衡且富有实践指导意义的分析，避免了将某种技术过度神化的倾向。这让我在后续优化我们系统中的数据读写延迟时，有了一个清晰、可执行的优化路线图。

这本书的价值不仅仅体现在对“是什么”的解释上，更在于对“如何实践”的指导。在每一个核心模块解析完毕后，作者都会巧妙地引出与实际生产环境相关的优化建议或者常见陷阱。例如，在讨论分区（Partition）数量和消费者组（Consumer Group）的协调时，书中不仅解释了Rebalance的底层逻辑，还详细探讨了过多的分区可能带来的元数据管理压力，以及如何根据业务的吞吐量需求来科学地设定分区数。这种从理论到实践的无缝衔接，使得这本书的阅读体验非常“落地”。它不是一本纯粹的学术著作，更像是一份高级工程师的“武功秘籍”，里面充满了实战中积累下来的经验和教训。对于那些准备将Kafka深度集成到自研平台中的团队来说，书中对于监控指标的选取和底层参数调优的讨论，无疑是提供了即时的参考价值，省去了大量试错的时间成本。

初次翻开这本书，我的期待值其实挺高的，毕竟Kafka作为分布式系统中的核心组件，其源码的复杂性和深度一直是不少工程师心中的“拦路虎”。然而，这本书的叙事节奏和深度把握得相当到位。它并没有一上来就抛出晦涩难懂的底层代码，而是从一个宏观的视角，娓娓道来Kafka的设计哲学和演进历程。书中对Producer和Consumer的交互机制、Broker的集群管理、以及数据如何在分布式环境中实现高可用和容错的讲解，都采用了非常直观的类比和图示，使得即便是对Broker内部结构不太熟悉的读者也能迅速建立起一个清晰的认知框架。特别是对于Kafka中的核心概念，比如日志段（Log Segment）的存储结构和时间戳的生成策略，作者的处理方式既严谨又易于理解，让人感觉像是被一位经验丰富的导师手把手地领入了这场源码探索之旅。我个人非常欣赏作者在解释设计决策背后的权衡取舍时所展现出的洞察力，这远非简单的代码罗列所能比拟，它真正教会了我们“为什么这么设计”，而不仅仅是“代码是这么写的”。这本书为我后续深入钻研特定模块打下了坚实的基础，让我不再惧怕面对庞大的代码库。

这本书的章节编排逻辑性极强，它就像一张精密的地图，引导读者逐步深入到Kafka系统的“腹地”。令我印象深刻的是，作者在阐述副本同步机制（ISR列表管理）时的细致程度。很多市面上的资料往往一笔带过，但本书却花费了大量篇幅，深入剖析了Leader选举、副本状态变更触发的条件，以及Leader如何进行数据一致性校验的细节。这种对细节的偏执，恰恰是理解分布式系统稳定性的关键所在。我感觉作者仿佛把Kafka每个类、每个方法的功能都进行了“手术刀式”的解剖，清晰地展示了每个组件是如何协同工作的。而且，书中对于一些边缘情况的处理，比如网络分区、脑裂（Split-Brain）的预防和应对策略，都有着独到的见解和源码层面的佐证，这对于我们构建健壮的生产环境系统至关重要。阅读这本书的过程，更像是一次严谨的工程训练，它强迫你不仅要看懂代码，更要思考代码在极端条件下的表现，极大地提升了我的系统设计思维的维度。

2019-07-13 初读；2019-09-18 重读：还是值得多读一读，对 kafka 的设计理念讲的不错，不过有几个点： 1. consumer coordinator 没讲 2. KIP 101（根据 epoch 截取 HW）没讲 这两点有些小不足 ...

2019-07-13 初读；2019-09-18 重读：还是值得多读一读，对 kafka 的设计理念讲的不错，不过有几个点： 1. consumer coordinator 没讲 2. KIP 101（根据 epoch 截取 HW）没讲 这两点有些小不足 ...

源码分析的思路很顺，可惜代码版本太老了

源码分析的思路很顺，可惜代码版本太老了

源码分析的思路很顺，可惜代码版本太老了