Kafka技术内幕

出版者:人民邮电出版社

作者:郑奇煌

页数:720

出版时间:2017-11

价格:119.00元

装帧:平装

isbn号码:9787115469380

丛书系列:图灵原创

具体描述

Kafka自LinkedIn开源以来就以高性能、高吞吐量、分布式的特性著称，本书以0.10版本的源码为基础，深入分析了Kafka的设计与实现，包括生产者和消费者的消息处理流程，新旧消费者不同的设计方式，存储层的实现，协调者和控制器如何确保Kafka集群的分布式和容错特性，两种同步集群工具MirrorMaker和uReplicator，流处理的两种API以及Kafka的一些高级特性等。

作者简介

郑奇煌

目前就职于杭州某互联网风控公司，主要专注于大数据和流计算。对源码研究有一定的心得体会，乐于分享，个人博客：zqhxuyuan.github.io。

目录信息

第1章　Kafka入门　　1
1.1　Kafka流式数据平台　　1
1.2　Kafka的基本概念　　3
1.2.1　分区模型　　3
1.2.2　消费模型　　4
1.2.3　分布式模型　　5
1.3　Kafka的设计与实现　　6
1.3.1　文件系统的持久化与数据传输效率　　6
1.3.2　生产者与消费者　　8
1.3.3　副本机制和容错处理　　10
1.4　快速开始　　11
1.4.1　单机模式　　12
1.4.2　分布式模式　　14
1.4.3　消费组示例　　16
1.5　环境准备　　18
第2章　生产者　　22
2.1　新生产者客户端　　22
2.1.1　同步和异步发送消息　　23
2.1.2　客户端消息发送线程　　29
2.1.3　客户端网络连接对象　　31
2.1.4　选择器处理网络请求　　35
2.2　旧生产者客户端　　43
2.2.1　事件处理器处理客户端发送的消息　　44
2.2.2　对消息集按照节点和分区进行整理　　46
2.2.3　生产者使用阻塞通道发送请求　　48
2.3　服务端网络连接　　49
2.3.1　服务端使用接收器接受客户端的连接　　50
2.3.2　处理器使用选择器的轮询处理网络请求　　53
2.3.3　请求通道的请求队列和响应队列　　56
2.3.4　Kafka请求处理线程　　58
2.3.5　服务端的请求处理入口　　58
2.4　小结　　60
第3章　消费者：高级API和低级API　　61
3.1　消费者启动和初始化　　67
3.1.1　创建并初始化消费者连接器　　69
3.1.2　消费者客户端的线程模型　　70
3.1.3　重新初始化消费者　　72
3.2　消费者再平衡操作　　73
3.2.1　分区的所有权　　74
3.2.2　为消费者分配分区　　75
3.2.3　创建分区信息对象　　78
3.2.4　关闭和更新拉取线程管理器　　80
3.2.5　分区信息对象的偏移量　　80
3.3　消费者拉取数据　　82
3.3.1　拉取线程管理器　　82
3.3.2　抽象拉取线程　　87
3.3.3　消费者拉取线程　　90
3.4　消费者消费消息　　94
3.4.1　Kafka消息流　　94
3.4.2　消费者迭代消费消息　　95
3.5　消费者提交分区偏移量　　97
3.5.1　提交偏移量到ZK　　98
3.5.2　提交偏移量到内部主题　　99
3.5.3　连接偏移量管理器　　101
3.5.4　服务端处理提交偏移量的请求　　103
3.5.5　缓存分区的偏移量　　106
3.6　消费者低级API示例　　108
3.6.1　消息消费主流程　　109
3.6.2　找出分区的主副本　　112
3.6.3　获取分区的读取偏移量　　113
3.6.4　发送拉取请求并消费消息　　116
3.7　小结　　117
3.7.1　消费者线程模型　　117
3.7.2　再平衡和分区分配　　119
第4章　新消费者　　121
4.1　新消费者客户端　　125
4.1.1　消费者的订阅状态　　125
4.1.2　消费者轮询的准备工作　　134
4.1.3　消费者轮询的流程　　138
4.1.4　消费者拉取消息　　146
4.1.5　消费者获取记录　　149
4.1.6　消费消息　　160
4.2　消费者的网络客户端轮询　　161
4.2.1　异步请求　　162
4.2.2　异步请求高级模式　　169
4.2.3　网络客户端轮询　　184
4.3　心跳任务　　188
4.3.1　发送心跳请求　　188
4.3.2　心跳状态　　189
4.3.3　运行心跳任务　　191
4.3.4　处理心跳结果的示例　　192
4.3.5　心跳和协调者的关系　　193
4.4　消费者提交偏移量　　195
4.4.1　自动提交任务　　195
4.4.2　将拉取偏移量作为提交偏移量　　197
4.4.3　同步提交偏移量　　201
4.4.4　消费者的消息处理语义　　202
4.5　小结　　206
第5章　协调者　　210
5.1　消费者加入消费组　　211
5.1.1　元数据与分区分配器　　212
5.1.2　消费者的加入组和同步组　　213
5.1.3　主消费者执行分配任务　　220
5.1.4　加入组的准备、完成和监听器　　224
5.2　协调者处理请求　　229
5.2.1　服务端定义发送响应结果的回调方法　　229
5.2.2　消费者和消费组元数据　　232
5.2.3　协调者处理请求前的条件检查　　236
5.2.4　协调者调用回调方法发送响应给客户端　　237
5.3　延迟的加入组操作　　242
5.3.1 “准备再平衡”　　242
5.3.2　延迟操作和延迟缓存　　244
5.3.3　尝试完成延迟的加入操作　　246
5.3.4　消费组稳定后，原有消费者重新加入消费组　　250
5.3.5　消费组未稳定，原有消费者重新加入消费组　　251
5.4　消费组状态机　　254
5.4.1　再平衡操作与监听器　　254
5.4.2　消费组的状态转换　　262
5.4.3　协调者处理“加入组请求”　　264
5.4.4　协调者处理“同步组请求”　　274
5.4.5　协调者处理“离开组请求”　　276
5.4.6　再平衡超时与会话超时　　278
5.4.7　延迟的心跳　　282
5.5　小结　　290
第6章　存储层　　293
6.1　日志的读写　　293
6.1.1　分区、副本、日志、日志分段　　294
6.1.2　写入日志　　297
6.1.3　日志分段　　305
6.1.4　读取日志　　315
6.1.5　日志管理　　329
6.1.6　日志压缩　　336
6.2　服务端处理读写请求　　348
6.2.1　副本管理器　　351
6.2.2　分区与副本　　362
6.3　延迟操作　　373
6.3.1　延迟操作接口　　374
6.3.2　延迟操作与延迟缓存　　383
6.3.3　延迟缓存　　391
6.4　小结　　400
第7章　控制器　　402
7.1　Kafka控制器　　402
7.1.1　控制器选举　　403
7.1.2　控制器上下文　　406
7.1.3　ZK监听器　　408
7.1.4　分区状态机和副本状态机　　410
7.1.5　删除主题　　430
7.1.6　重新分配分区　　436
7.1.7　控制器的网络通道管理器　　445
7.2　服务端处理LeaderAndIsr请求　　448
7.2.1　创建分区　　449
7.2.2　创建主副本、备份副本　　451
7.2.3　消费组元数据迁移　　463
7.3　元数据缓存　　468
7.3.1　服务端的元数据缓存　　472
7.3.2　客户端更新元数据　　473
7.4　Kafka服务关闭　　483
7.5　小结　　487
第8章　基于Kafka构建数据流管道　　490
8.1　Kafka集群同步工具：MirrorMaker　　490
8.1.1　单机模拟数据同步　　491
8.1.2　数据同步的流程　　493
8.2　Uber集群同步工具：uReplicator　　498
8.2.1　Apache Helix介绍　　498
8.2.2　Helix控制器　　501
8.2.3　Helix工作节点　　504
8.3　Kafka连接器　　505
8.3.1　连接器的使用示例　　507
8.3.2　开发一个简单的连接器　　510
8.3.3　连接器的架构模型　　515
8.3.4　Herder的实现　　520
8.3.5　Worker的实现　　524
8.3.6　配置存储与状态存储　　530
8.3.7　连接器与任务的实现　　550
8.4　小结　　565
第9章　Kafka流处理　　569
9.1　低级Processor API　　569
9.1.1　流处理应用程序示例　　569
9.1.2　流处理的拓扑　　575
9.1.3　流处理的线程模型　　580
9.1.4　状态存储　　613
9.2　高级流式DSL　　636
9.2.1　DSL应用程序示例　　636
9.2.2　KStream和KTable　　638
9.2.3　连接操作　　665
9.2.4　窗口操作　　672
9.3　小结　　684
第10章　高级特性介绍　　686
10.1　客户端配额　　686
10.2　消息与时间戳　　692
10.3　事务处理　　699
10.4　小结　　703
· · · · · · (收起)

用户评价

如果要用一个词来形容我的阅读体验，那一定是“透彻”。这本书对于该领域核心概念的剖析，可以说是做到了力透纸背。它不仅仅是告诉读者“这样做是最好的”，更重要的是，它详细地追溯了“为什么它是最好的”，甚至是“在什么特定约束下，它才是最好的”。例如，在讨论数据存储层的磁盘I/O优化时，作者没有回避其固有的限制，反而深入到操作系统内核层面，解释了零拷贝（Zero Copy）技术是如何为高吞吐量保驾护航的。这种对底层硬件和软件栈的跨层级理解，极大地提升了整本书的厚重感。对于那些希望跳出API调用层面，真正理解并驾驭这类复杂基础设施的工程师来说，这本书无疑是一份不可多得的珍宝，它提供的知识深度足以支撑工程师在未来数年内面对各种复杂场景的挑战。

这本关于现代分布式系统核心组件的深度解析，简直是技术人员的福音。作者对Message Queue这一概念的演进脉络梳理得极其到位，从早期的集中式队列到如今高吞吐量、可持久化的流式平台，每一步的技术迭代都充满了深思熟虑的设计权衡。我尤其欣赏它对于数据一致性模型探讨的详尽程度，特别是如何巧妙地利用分区（Partition）和副本（Replication）机制来保证在面对网络分区和节点故障时的服务可用性和数据完整性。书中对生产者如何处理消息发送失败、消费者如何进行偏移量（Offset）管理等底层细节的剖析，远超一般入门书籍的泛泛而谈，真正做到了“内幕”的深度。读完后，我对构建健壮、可扩展的数据管道有了全新的认识，那些曾经在生产环境中困扰我许久的疑难杂症，似乎都有了清晰的理论支撑和最佳实践指导。它不仅仅是介绍一个工具的使用手册，更是一部关于如何设计高并发、高可靠数据基础设施的哲学著作，让我从“如何用”提升到了“为何这样设计”的层面。

我对这册书的结构安排和行文逻辑感到非常惊喜，它采取了一种螺旋上升的讲解方式，将复杂的概念层层剥开，保证了即便是初次接触该领域的新手，也能逐步跟上节奏。开篇的宏观背景铺陈，迅速将读者带入实时数据流处理的广阔场景，接着便聚焦于具体组件的设计哲学。作者在阐述每个模块时，总能兼顾理论的严谨性和工程的实用性。比如，在解析存储层面的设计时，它深入探讨了顺序写入的性能优势以及日志段（Log Segment）的管理策略，这些都是确保系统高性能运行的关键所在。更难能可贵的是，作者还穿插了大量的架构演进案例，展示了不同时期工程团队是如何面对实际的性能瓶颈和可用性挑战，并最终通过架构调整来克服的。这种结合了历史、理论与实践的叙事手法，使得阅读过程非常引人入胜，几乎让我忘记了自己是在阅读一本技术专著，更像是在听一位资深架构师讲述他多年的血泪经验总结。

这本书的价值不仅仅在于它对单一技术的精深阐述，更在于它提供了一种思考分布式系统瓶颈的通用框架。作者在多处强调了“无状态服务”与“有状态存储”之间的职责划分和数据边界的清晰性，这对于当前微服务架构的推广具有极强的指导意义。我特别喜欢其中关于如何设计幂等性操作的章节，它不仅仅停留在理论层面，还通过具体的代码逻辑示例，展示了如何利用消息的唯一标识符来实现精确的一次性处理，避免了重复计算带来的数据污染。此外，书中对集群运维和监控体系的论述也相当成熟，它提醒我们，一个生产级别的系统，其运维的复杂度往往和其功能复杂度呈正比，并提供了一系列实用的度量指标和告警策略建议，这让这本书的适用范围从纯粹的开发人员扩展到了DevOps工程师。

阅读过程中，我发现这本书在技术细节的描述上达到了近乎偏执的程度，这对于追求极致性能和稳定性的开发者来说，简直是天籁之音。它详尽地对比了不同同步机制下的性能差异，例如同步刷盘与异步刷盘的选择，以及它们对延迟和吞吐量的影响。特别是在探讨消费者群组（Consumer Group）的协调机制时，书中对Rebalance过程的描述细致入微，解释了为什么在某些场景下组内成员的加入或退出会导致短暂的服务停滞，以及如何通过配置优化来最小化这种影响。很多其他资料中被一带而过的地方，比如网络通信协议的选型、序列化与反序列化的性能开销，都在这里得到了充分的论述。这种对技术栈每一个环节都进行深度挖掘的做法，让读者能够真正掌握系统的“黑箱”内部运作，从而在系统调优时能够有的放矢，而不是盲目地调整参数。

内容充实，但可能是个人水平不足，觉得行文较多冗余，不够简洁明快，读得头昏脑涨

太水了导致这么厚一本书我真的不知道他的重点在哪，kafka的难点和优缺点在哪

非常详细的一本书 图文并茂

有点啰嗦，不够精炼，还有感觉图画的有问题，可能是他自己理解的吧，不是很标准。另外主分区和副本应该分开看待，不应该把主分区和副本分区都叫副本。

太水了导致这么厚一本书我真的不知道他的重点在哪，kafka的难点和优缺点在哪