Hadoop技术内幕

出版者:机械工业出版社

作者:董西成

页数:332

出版时间:2013-5

价格:69.00元

装帧:平装

isbn号码:9787111422266

丛书系列:大数据技术丛书

具体描述

《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》内容简介：“Hadoop技术内幕”共两册，分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》由Hadoop领域资深的实践者亲自执笔，首先介绍了MapReduce的设计理念和编程模型，然后从源代码的角度深入分析了RPC框架、客户端、JobTracker、TaskTracker和Task等MapReduce运行时环境的架构设计与实现原理，最后从实际应用的角度深入讲解了Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架等高级主题和内容。《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》适合Hadoop的二次开发人员、应用开发工程师、运维工程师阅读。

海报：

作者简介

作者信息请参考他的技术博客：http://dongxicheng.org/ 和该书的官方宣传网站：http://hadoop123.com/

目录信息

前　言
第一部分　基础篇
第1章　阅读源代码前的准备/ 2
1.1　准备源代码学习环境/ 2
1.1.1　基础软件下载/ 2
1.1.2　如何准备Windows环境/ 3
1.1.3　如何准备Linux环境/ 6
1.2　获取Hadoop源代码/ 7
1.3　搭建Hadoop源代码阅读环境/ 8
1.3.1　创建Hadoop工程/ 8
1.3.2　Hadoop源代码阅读技巧/ 9
1.4　Hadoop源代码组织结构/ 10
1.5　Hadoop初体验/ 13
1.5.1　启动Hadoop/ 13
1.5.2　Hadoop Shell介绍/ 15
1.5.3　Hadoop Eclipse插件介绍/ 15
1.6　编译及调试Hadoop源代码/ 19
1.6.1　编译Hadoop源代码/ 19
1.6.2　调试Hadoop源代码/ 20
1.7　小结/ 23
第2章　MapReduce设计理念与基本架构/ 24
2.1　Hadoop发展史/ 24
2.1.1　Hadoop产生背景/ 24
2.1.2　Apache Hadoop新版本的特性/ 25
2.1.3　Hadoop版本变迁/ 26
2.2　Hadoop MapReduce设计目标/ 28
2.3　MapReduce编程模型概述/ 29
2.3.1　MapReduce编程模型简介/ 29
2.3.2　MapReduce编程实例/ 31
2.4　Hadoop基本架构/ 32
2.4.1　HDFS架构/ 33
2.4.2　Hadoop MapReduce架构/ 34
2.5　Hadoop MapReduce作业的生命周期/ 36
2.6　小结/ 38
第二部分　MapReduce编程模型篇
第3章　MapReduce编程模型/ 40
3.1　MapReduce编程模型概述/ 40
3.1.1　MapReduce编程接口体系结构/ 40
3.1.2　新旧MapReduce API比较/ 41
3.2　MapReduce API基本概念/ 42
3.2.1　序列化/ 42
3.2.2　Reporter参数/ 43
3.2.3　回调机制/ 43
3.3　Java API解析/ 44
3.3.1　作业配置与提交/ 44
3.3.2　InputFormat接口的设计与实现/ 48
3.3.3　OutputFormat接口的设计与实现/ 53
3.3.4　Mapper与Reducer解析/ 55
3.3.5　Partitioner接口的设计与实现/ 59
3.4　非Java API解析/ 61
3.4.1　Hadoop Streaming的实现原理/ 61
3.4.2　Hadoop Pipes的实现原理/ 64
3.5　Hadoop工作流/ 67
3.5.1　JobControl的实现原理/ 67
3.5.2　ChainMapper/ChainReducer的实现原理/ 69
3.5.3　Hadoop工作流引擎/ 71
3.6　小结/ 73
第三部分　MapReduce核心设计篇
第4章　Hadoop RPC框架解析/ 76
4.1　Hadoop RPC框架概述/ 76
4.2　Java基础知识/ 77
4.2.1　Java反射机制与动态代理/ 78
4.2.2　Java网络编程/ 80
4.2.3　Java NIO/ 82
4.3　Hadoop RPC基本框架分析/ 89
4.3.1　RPC基本概念/ 89
4.3.2　Hadoop RPC基本框架/ 91
4.3.3　集成其他开源RPC框架/ 98
4.4　MapReduce通信协议分析/ 100
4.4.1　MapReduce 通信协议概述/ 100
4.4.2　JobSubmissionProtocol通信协议/ 102
4.4.3　InterTrackerProtocol通信协议/ 102
4.4.4　TaskUmbilicalProtocol通信协议/ 103
4.4.5　其他通信协议/ 104
4.5　小结/ 106
第5章　作业提交与初始化过程分析/ 107
5.1　作业提交与初始化概述/ 107
5.2　作业提交过程详解/ 108
5.2.1　执行Shell命令/ 108
5.2.2　作业文件上传/ 109
5.2.3　产生InputSplit文件/ 111
5.2.4　作业提交到JobTracker/ 113
5.3　作业初始化过程详解/ 115
5.4　Hadoop DistributedCache原理分析/ 117
5.4.1　使用方法介绍/ 118
5.4.2　工作原理分析/ 120
5.5　小结/ 122
第6章　JobTracker内部实现剖析/ 123
6.1　JobTracker概述/ 123
6.2　JobTracker启动过程分析/ 125
6.2.1　JobTracker启动过程概述/ 125
6.2.2　重要对象初始化/ 125
6.2.3　各种线程功能/ 128
6.2.4　作业恢复/ 129
6.3　心跳接收与应答/ 129
6.3.1　更新状态/ 131
6.3.2　下达命令/ 131
6.4　Job和Task运行时信息维护/ 134
6.4.1　作业描述模型/ 134
6.4.2　JobInProgress/ 136
6.4.3　TaskInProgress/ 137
6.4.4　作业和任务状态转换图/ 139
6.5　容错机制/ 141
6.5.1　JobTracker容错/ 141
6.5.2　TaskTracker容错/ 142
6.5.3　Job/Task容错/ 145
6.5.4　Record容错/ 147
6.5.5　磁盘容错/ 151
6.6　任务推测执行原理/ 152
6.6.1　计算模型假设/ 153
6.6.2　1.0.0版本的算法/ 153
6.6.3　0.21.0版本的算法/ 154
6.6.4　2.0版本的算法/ 156
6.7　Hadoop资源管理/ 157
6.7.1　任务调度框架分析/ 159
6.7.2　任务选择策略分析/ 162
6.7.3　FIFO调度器分析/ 164
6.7.4　Hadoop资源管理优化/ 165
6.8　小结/ 168
第7章　TaskTracker内部实现剖析/ 169
7.1　TaskTracker概述/ 169
7.2　TaskTracker启动过程分析/ 170
7.2.1　重要变量初始化/ 171
7.2.2　重要对象初始化/ 171
7.2.3　连接JobTracker/ 172
7.3　心跳机制/ 172
7.3.1　单次心跳发送/ 172
7.3.2　状态发送/ 175
7.3.3　命令执行/ 178
7.4　TaskTracker行为分析/ 179
7.4.1　启动新任务/ 179
7.4.2　提交任务/ 179
7.4.3　杀死任务/ 181
7.4.4　杀死作业/ 182
7.4.5　重新初始化/ 184
7.5　作业目录管理/ 184
7.6　启动新任务/ 186
7.6.1　任务启动过程分析/ 186
7.6.2　资源隔离机制/ 193
7.7　小结/ 195
第8章　Task运行过程分析/ 196
8.1　Task运行过程概述/ 196
8.2　基本数据结构和算法/ 197
8.2.1　IFile存储格式/ 197
8.2.2　排序/ 198
8.2.3　Reporter/ 201
8.3　Map Task内部实现/ 204
8.3.1　Map Task整体流程/ 204
8.3.2　Collect过程分析/ 205
8.3.3　Spill过程分析/ 213
8.3.4　Combine过程分析/ 214
8.4　Reduce Task内部实现/ 214
8.4.1　Reduce Task整体流程/ 215
8.4.2　Shuffle和Merge阶段分析/ 215
8.4.3　Sort和Reduce阶段分析/ 218
8.5　Map/Reduce Task优化/ 219
8.5.1　参数调优/ 219
8.5.2　系统优化/ 220
8.6　小结/ 224
第四部分　MapReduce高级篇
第9章　Hadoop性能调优/ 228
9.1　概述/ 228
9.2　从管理员角度进行调优/ 229
9.2.1　硬件选择/ 229
9.2.2　操作系统参数调优/ 229
9.2.3　JVM参数调优/ 230
9.2.4　Hadoop参数调优/ 230
9.3　从用户角度进行调优/ 235
9.3.1　应用程序编写规范/ 235
9.3.2　作业级别参数调优/ 235
9.3.3　任务级别参数调优/ 239
9.4　小结/ 240
第10章　Hadoop多用户作业调度器/ 241
10.1　多用户调度器产生背景/ 241
10.2　HOD/ 242
10.2.1　Torque资源管理器/ 242
10.2.2　HOD作业调度/ 243
10.3　Hadoop队列管理机制/ 245
10.4　Capacity Scheduler实现/ 246
10.4.1　Capacity Scheduler功能介绍/ 247
10.4.2　Capacity Scheduler实现/ 249
10.4.3　多层队列调度/ 254
10.5　Fair Scheduler实现/ 255
10.5.1　Fair Scheduler功能介绍/ 255
10.5.2　Fair Scheduler实现/ 258
10.5.3　Fair Scheduler与Capacity Scheduler对比/ 263
10.6　其他Hadoop调度器介绍/ 264
10.7　小结/ 265
第11章　Hadoop安全机制/ 266
11.1　Hadoop安全机制概述/ 266
11.1.1　Hadoop面临的安全问题/ 266
11.1.2　Hadoop对安全方面的需求/ 267
11.1.3　Hadoop安全设计基本原则/ 267
11.2　基础知识/ 268
11.2.1　安全认证机制/ 268
11.2.2　Kerberos介绍/ 270
11.3　Hadoop安全机制实现/ 273
11.3.1　RPC/ 273
11.3.2　HDFS/ 276
11.3.3　MapReduce/ 278
11.3.4　上层服务/ 280
11.4　应用场景总结/ 281
11.4.1　文件存取/ 281
11.4.2　作业提交与运行/ 282
11.4.3　上层中间件访问Hadoop/ 282
11.5　小结/ 283
第12章　下一代MapReduce框架/ 284
12.1　第一代MapReduce框架的局限性/ 284
12.2　下一代MapReduce框架概述/ 284
12.2.1　基本设计思想/ 284
12.2.2　资源统一管理平台/ 286
12.3　Apache YARN/ 287
12.3.1　Apache YARN基本框架/ 287
12.3.2　Apache YARN工作流程/ 290
12.3.3　Apache YARN设计细节/ 291
12.3.4　MapReduce与YARN结合/ 294
12.4　Facebook Corona / 298
12.4.1　Facebook Corona基本框架/ 298
12.4.2　Facebook Corona工作流程/ 300
12.4.3　YARN与Corona对比/ 303
12.5　Apache Mesos/ 304
12.5.1　Apache Mesos基本框架/ 304
12.5.2　Apache Mesos资源分配/ 305
12.5.3　MapReduce与Mesos结合/ 307
12.6　小结/ 309
附录A　安装Hadoop过程中可能存在的问题及解决方案/ 310
附录B　Hadoop默认HTTP端口号以及HTTP地址/ 312
参考资料/ 313
· · · · · · (收起)

读后感

对各个核心的组件的核心思想都已经讲到，作者认为设计思想、架构比细节更重要，把细节的探索交给读者自己去完成，但同时对于难点的细节也点得比较透（如：Map Spill,Reduce Shuffle这块），而且还提供特别多的资料供读者参考，个人很喜欢这种写作风格。 但是300页左右...  

有了MR的编程体验后，再细看这本书（特别是MapReduce编程接口体系），会收获很多很多 书里面专业的UML类图就是MR的cheatsheet MR源码大解析，除了面对编程人员，还有运维人员也可以好好看看  

最近花了一周时间，从头到尾读了一遍 以下是自己的读后切身体会，希望给想读或在读的朋友一个分享： 关于本书的定位：技术架构设计和原理实现 【分析型】 注意：不是【实战型】的，所以想读的朋友，一定要看好这本书的内容定位，如果是想提高MR编程技巧等方面学习，这本书，个...  

对各个核心的组件的核心思想都已经讲到，作者认为设计思想、架构比细节更重要，把细节的探索交给读者自己去完成，但同时对于难点的细节也点得比较透（如：Map Spill,Reduce Shuffle这块），而且还提供特别多的资料供读者参考，个人很喜欢这种写作风格。 但是300页左右...  

整体上来说，国人能写这样的书感觉还是不错的，但是条理性，系统性感觉欠佳，并且很多东西讲的不太深入， 如果是hadoop 初学者，最好先读几本权威指南之类的。 如果是hadoop的老鸟，我估计也不会读这本书。 就第2章， "且key值相同的数据被统一交给reduce()函数处理" 这句...

用户评价

读完这本《Hadoop技术内幕》，我最大的感受就是，终于有人把那些藏在文档深处的“黑魔法”给揭开了。市面上很多技术书籍都会用一种比较“官方”和“流程化”的语调来描述技术栈，读起来干巴巴的，缺乏一种工程师之间的“心领神会”。这本书的语言风格则显得非常接地气，带着一种资深架构师的经验之谈。我尤其喜欢它在讨论YARN资源调度器时的那一部分。它没有满足于介绍Container、ApplicationMaster这些基本概念，而是深入剖析了“公平调度器”和“容量调度器”背后的算法权衡与取舍。作者似乎在用一种“过来人”的口吻告诉我，在设计这个系统时，设计者们面临了哪些实际的工程难题，他们是如何权衡延迟、吞吐量和资源隔离性的。这种对“为什么”的深挖，而不是仅仅停留在“是什么”，极大地提升了我的理解层次。它让我明白，每一行代码、每一个配置参数背后，都凝结着无数次线上故障和性能调优的血泪教训。这本书对于想要从“使用Hadoop”提升到“驾驭Hadoop”的读者来说，是不可或缺的内功心法。

这本书的阅读体验是那种“渐入佳境，回味无穷”的类型。初看时，你会惊叹于其内容的广度和深度，但只有在实践中遇到问题，回过头来翻阅这本书时，才会真正体会到它的价值所在。我个人非常欣赏作者在章节末尾设置的“思考题”或者“设计权衡点”的总结，这促使读者不能仅仅停留在被动接受知识的层面。比如，在讨论MapReduce内存管理时，它详细对比了JVM堆外内存和堆内内存的使用策略，以及它们如何影响到Task的生命周期和垃圾回收效率。这种对性能损耗的精确量化分析，远超出了普通书籍的范畴。它更像是作者多年来在真实生产环境中踩坑总结出来的“避坑指南”。这本书没有过多使用华丽的辞藻，而是用严谨的逻辑和精确的技术术语构建起一个完整的知识体系。对于那些渴望理解Hadoop底层实现原理，并希望能够在实际工作中进行深度定制和优化的技术人员来说，这本书绝对是值得反复研读的经典之作。

我对技术书籍的评价标准一直很严苛，很多号称“深入”的书籍，读完后会发现它只是把官方文档的内容稍微润色了一下。然而《Hadoop技术内幕》完全突破了这一点。它真正做到了“内幕”二字。让我印象极为深刻的是关于HDFS写入流程的章节。它不仅仅描述了客户端如何与NameNode握手、如何获取DataNode列表，而是细致到客户端如何管理写管道（Write Pipeline），如果中间的DataNode出现故障，客户端的重试和故障转移机制是如何平滑进行的。这种对高并发、高容错场景下细节处理的描述，是教科书上绝对看不到的。此外，书中对Hadoop 2.x 引入的联邦（Federation）架构也做了深入的探讨，分析了这种架构如何在不牺牲历史稳定性的前提下，解决单NameNode的扩展性瓶颈。我感觉作者在撰写此书时，一定是反复推敲了每一个技术点，确保读者能够从宏观架构到微观实现都能形成一个完整的认知闭环。这对于希望构建健壮、可扩展数据平台的架构师来说，具有极高的参考价值。

说实话，这本书的厚度一开始让我有点望而生畏，但一旦翻开第一页，我就发现自己完全被这本书的叙事逻辑和技术深度所吸引住了。它不是那种按部就班地介绍Hadoop各个模块的堆砌，而更像是一部精彩的技术侦探小说，层层递进，引人入胜。我特别关注了作者对Hadoop生态系统中其他组件的串联描写，比如它是如何巧妙地将Zookeeper集成进来保证NameNode的高可用性，以及如何通过Avro或Protobuf来优化数据序列化效率。更让我感到惊喜的是，书中还穿插了大量的实际案例和“陷阱”警示。例如，在处理超大文件的拆分和合并时，涉及到多少网络I/O的开销，以及如何通过调整RPC缓冲大小来规避网络拥塞。这种细节的把控，体现了作者扎实的实战经验。这本书的价值在于，它不仅仅是知识的传递，更是一种思维方式的培养，让你在面对新的分布式系统问题时，能够迅速地联想到底层机制，从而找到最优解。对于需要设计和维护TB级数据平台的工程师而言，这本书无疑是工具箱里的瑞士军刀。

这本书，哎呀，简直是为我这种对分布式系统充满好奇心，但又苦于找不到一本能真正“深入骨髓”的指南的人量身定做的！我得说，我之前也尝试过几本市面上主流的关于大数据处理框架的书籍，那些书大多停留在概念的罗列和API的简单介绍上，读完后感觉像是学了游泳的口诀却没下过水。但是《Hadoop技术内幕》这本书，它完全不一样。它没有浪费篇幅去过多渲染“大数据”这个时髦的词汇，而是直接一头扎进了Hadoop这个庞大体系的核心机制。我特别欣赏作者那种庖丁解牛般的分析能力，尤其是在讲解HDFS的NameNode和DataNode之间复杂的交互协议时，那种精细到字节级别的描述，让我仿佛亲手参与了数据块的复制和心跳包的发送。最让我醍醐灌顶的是关于MapReduce执行流程的剖析，它把TaskTracker、JobTracker的工作机制，以及 Shuffle 阶段数据如何在节点间高效流转的细节，用图文并茂的方式呈现出来，让我彻底明白了为什么在某些场景下会出现性能瓶颈，以及如何从源码层面进行优化。这本书的深度，绝对不是那种浅尝辄止的“入门读物”能比拟的，它更像是一本为想成为Hadoop内核专家的工程师准备的“武功秘籍”。

买了很久了,终于看完了

很详细，很精彩

适合每一个使用mapreduce的码农，对hadoop类似项目开发农意义不大

每次看着作者在群里推销 看样子还是有干活的 不知道到底如何 必须要看过才知道 不过 现在已经不是很关注hadoop了 处理数据已经不重要了 重要的是从有限的数据中提炼最大的价值 拜读过之后 表示这本书的干活还是很多的 初读之后 意犹未尽 还需再研究研究

每次看着作者在群里推销 看样子还是有干活的 不知道到底如何 必须要看过才知道 不过 现在已经不是很关注hadoop了 处理数据已经不重要了 重要的是从有限的数据中提炼最大的价值 拜读过之后 表示这本书的干活还是很多的 初读之后 意犹未尽 还需再研究研究