Hadoop技术内幕

出版者:机械工业出版社

作者:蔡斌

页数:512

出版时间:2013-4

价格:89.00元

装帧:平装

isbn号码:9787111417668

丛书系列:大数据技术丛书

具体描述

《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》内容简介：“Hadoop技术内幕”共两册，分别从源代码的角度对“Common+HDFS”和MapReduce的架构设计与实现原理进行了极为详细的分析。《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》由腾讯数据平台的资深Hadoop专家、X-RIME的作者亲自执笔，对Common和HDFS的源代码进行了分析，旨在为Hadoop的优化、定制和扩展提供原理性的指导。除此之外，《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》还从源代码实现中对分布式技术的精髓、分布式系统设计的优秀思想和方法，以及Java语言的编码技巧、编程规范和对设计模式的精妙运用进行了总结和分析，对提高读者的分布式技术能力和Java编程能力都非常有帮助。《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》适合Hadoop的二次开发人员、应用开发工程师、运维工程师阅读。

全书共9章，分为三部分：第一部分（第1章）主要介绍了Hadoop源代码的获取和源代码阅读环境的搭建；第二部分（第2～5章）对Hadoop公共工具Common的架构设计和实现原理进行了深入分析，包含Hadoop的配置信息处理、面向海量数据处理的序列化和压缩机制、Hadoop的远程过程调用，以及满足Hadoop上各类应用访问数据的Hadoop抽象文件系统和部分具体文件系统等内容；第三部分（第6～9章）对Hadoop的分布式文件系统HDFS的架构设计和实现原理进行了详细的分析，这部分内容采用了总分总的结构，第6章对HDFS的各个实体和实体间接口进行了分析；第7章和第8章分别详细地研究了数据节点和名字节点的实现原理，并通过第9章对客户端的解析，回顾了HDFS各节点间的配合，完整地介绍了一个大规模数据存储系统的实现。

海报：

作者简介

蔡斌，资深Hadoop技术专家，基于Hadoop的开源项目X-RIME的作者之一。国内Hadoop应用和源代码研究领域的先驱之一，有10余年开发经验，先后任职于朗讯科技、IBM中国研究院等国内外知名企业，目前担任腾讯数据平台部的高级工程师，从事Hadoop相关技术的研究、应用和实施，实战经验非常丰富。对分布式计算、电信增值业务、网络管理等领域有深刻的认识和理解，拥有近10项发明专利，其中两项为美国专利，大部分与海量数据处理相关。近期关注海量数据的流式处理、Hadoop上的大数据应用与挖掘等。

陈湘萍，北京大学计算机系博士，目前就职于中山大学，专注于Hadoop、云计算、软件中间件、模型驱动的软件工程等技术的研究和实践。拥有发明专利5项，参与1项国家电子行业标准的制定，发表学术论文10余篇。

目录信息

前　言
第一部分　环境准备
第1章　源代码环境准备/ 2
1.1　什么是Hadoop / 2
1.1.1　Hadoop简史/ 2
1.1.2　Hadoop的优势/ 3
1.1.3　Hadoop生态系统/ 4
1.2　准备源代码阅读环境/ 8
1.2.1　安装与配置JDK / 8
1.2.2　安装Eclipse / 9
1.2.3　安装辅助工具Ant/ 12
1.2.4　安装类UNIX Shell环境Cygwin / 13
1.3　准备Hadoop源代码/ 15
1.3.1　下载Hadoop / 15
1.3.2　创建Eclipse项目/ 16
1.3.3　Hadoop源代码组织/ 18
1.4　小结/ 19
第二部分　Common的实现
第2章　Hadoop配置信息处理/ 22
2.1　配置文件简介/ 22
2.1.1　Windows操作系统的配置文件/ 22
2.1.2　Java配置文件/ 23
2.2　Hadoop Configuration详解/ 24
2.2.1　Hadoop配置文件的格式/ 24
2.2.2　Configuration的成员变量/ 26
2.2.3　资源加载/ 27
2.2.4　使用get*和set*访问/设置配置项/ 32
2.3　Configurable接口/ 34
2.4　小结/ 35
第3章　序列化与压缩/ 36
3.1　序列化/ 36
3.1.1　Java内建序列化机制/ 36
3.1.2　Hadoop序列化机制/ 38
3.1.3　Hadoop序列化机制的特征/ 39
3.1.4　Hadoop Writable机制/ 39
3.1.5　典型的Writable类详解/ 41
3.1.6　Hadoop序列化框架/ 48
3.2　压缩/ 49
3.2.1　Hadoop压缩简介/ 50
3.2.2　Hadoop压缩API应用实例/ 51
3.2.3　Hadoop压缩框架/ 52
3.2.4　Java本地方法/ 61
3.2.5　支持Snappy压缩/ 65
3.3　小结/ 69
第4章　Hadoop远程过程调用/ 70
4.1　远程过程调用基础知识/ 70
4.1.1　RPC原理/ 70
4.1.2　RPC机制的实现/ 72
4.1.3　Java远程方法调用/ 73
4.2　Java动态代理/ 78
4.2.1　创建代理接口/ 78
4.2.2　调用转发/ 80
4.2.3　动态代理实例/ 81
4.3　Java NIO/ 84
4.3.1　Java基本套接字/ 84
4.3.2　Java NIO基础/ 86
4.3.3　Java NIO实例：回显服务器/ 93
4.4　Hadoop中的远程过程调用/ 96
4.4.1　利用Hadoop IPC构建简单的分布式系统/ 96
4.4.2　Hadoop IPC的代码结构/ 100
4.5　Hadoop IPC连接相关过程/ 104
4.5.1　IPC连接成员变量/ 104
4.5.2　建立IPC连接/ 106
4.5.3　数据分帧和读写/ 111
4.5.4　维护IPC连接/ 114
4.5.5　关闭IPC连接/ 116
4.6　Hadoop IPC方法调用相关过程/ 118
4.6.1　Java接口与接口体/ 119
4.6.2　IPC方法调用成员变量/ 121
4.6.3　客户端方法调用过程/ 123
4.6.4　服务器端方法调用过程/ 126
4.7　Hadoop IPC上的其他辅助过程/ 135
4.7.1　RPC.getProxy()和RPC.stopProxy() / 136
4.7.2　RPC.getServer()和Server的启停/ 138
4.8　小结/ 141
第5章　Hadoop文件系统/ 142
5.1　文件系统/ 142
5.1.1　文件系统的用户界面/ 142
5.1.2　文件系统的实现/ 145
5.1.3　文件系统的保护控制/ 147
5.2　Linux文件系统/ 150
5.2.1　Linux本地文件系统/ 150
5.2.2　虚拟文件系统/ 153
5.2.3　Linux文件保护机制/ 154
5.2.4　Linux文件系统API/ 155
5.3　分布式文件系统/ 159
5.3.1　分布式文件系统的特性/ 159
5.3.2　基本NFS体系结构/ 160
5.3.3　NFS支持的文件操作/ 160
5.4　Java文件系统/ 162
5.4.1　Java文件系统API / 162
5.4.2　URI和URL / 164
5.4.3　Java输入/输出流/ 166
5.4.4　随机存取文件/ 169
5.5　Hadoop抽象文件系统/ 170
5.5.1　Hadoop文件系统API / 170
5.5.2　Hadoop输入/输出流/ 175
5.5.3　Hadoop文件系统中的权限/ 179
5.5.4　抽象文件系统中的静态方法/ 180
5.5.5　Hadoop文件系统中的协议处理器/ 184
5.6　Hadoop具体文件系统/ 188
5.6.1　FileSystem层次结构/ 189
5.6.2　RawLocalFileSystem的实现/ 191
5.6.3　ChecksumFileSystem的实现/ 196
5.6.4　RawInMemoryFileSystem的实现/ 210
5.7　小结/ 213
第三部分　Hadoop分布式文件系统
第6章　HDFS概述/ 216
6.1　初识HDFS / 216
6.1.1　HDFS主要特性/ 216
6.1.2　HDFS体系结构/ 217
6.1.3　HDFS源代码结构/ 221
6.2　基于远程过程调用的接口/ 223
6.2.1　与客户端相关的接口/ 224
6.2.2　HDFS各服务器间的接口/ 236
6.3　非远程过程调用接口/ 244
6.3.1　数据节点上的非IPC接口/ 245
6.3.2　名字节点和第二名字节点上的非IPC接口/ 252
6.4　HDFS主要流程/ 254
6.4.1　客户端到名字节点的文件与目录操作/ 254
6.4.2　客户端读文件/ 256
6.4.3　客户端写文件/ 257
6.4.4　数据节点的启动和心跳/ 258
6.4.5　第二名字节点合并元数据/ 259
6.5　小结/ 261
第7章　数据节点实现/ 263
7.1　数据块存储/ 263
7.1.1　数据节点的磁盘目录文件结构/ 263
7.1.2　数据节点存储的实现/ 266
7.1.3　数据节点升级/ 269
7.1.4　文件系统数据集的工作机制/ 276
7.2　流式接口的实现/ 285
7.2.1　DataXceiverServer和DataXceiver / 286
7.2.2　读数据/ 289
7.2.3　写数据/ 298
7.2.4　数据块替换、数据块拷贝和读数据块检验信息/ 313
7.3　作为整体的数据节点/ 314
7.3.1　数据节点和名字节点的交互/ 314
7.3.2　数据块扫描器/ 319
7.3.3　数据节点的启停/ 321
7.4　小结/ 326
第8章　名字节点实现/ 327
8.1　文件系统的目录树/ 327
8.1.1　从i-node到INode/ 327
8.1.2　命名空间镜像和编辑日志/ 333
8.1.3　第二名字节点/ 351
8.1.4　FSDirectory的实现/ 361
8.2　数据块和数据节点管理/ 365
8.2.1　数据结构/ 366
8.2.2　数据节点管理/ 378
8.2.3　数据块管理/ 392
8.3　远程接口ClientProtocol的实现/ 412
8.3.1　文件和目录相关事务/ 412
8.3.2　读数据使用的方法/ 415
8.3.3　写数据使用的方法/ 419
8.3.4　工具dfsadmin依赖的方法/ 443
8.4　名字节点的启动和停止/ 444
8.4.1　安全模式/ 444
8.4.2　名字节点的启动/ 449
8.4.3　名字节点的停止/ 454
8.5　小结/ 454
第9章　HDFS客户端/ 455
9.1　认识DFSClient / 455
9.1.1　DFSClient的构造和关闭/ 455
9.1.2　文件和目录、系统管理相关事务/ 457
9.1.3　删除HDFS文件/目录的流程/ 459
9.2　输入流/ 461
9.2.1　读数据前的准备：打开文件/ 463
9.2.2　读数据/ 465
9.2.3　关闭输入流/ 475
9.2.4　读取HDFS文件数据的流程/ 475
9.3　输出流/ 478
9.3.1　写数据前的准备：创建文件/ 481
9.3.2　写数据：数据流管道的建立/ 482
9.3.3　写数据：数据包的发送/ 486
9.3.4　写数据：数据流管道出错处理/ 493
9.3.5　写数据：租约更新/ 496
9.3.6　写数据：DFSOutputStream.sync()的作用/ 497
9.3.7　关闭输出流/ 499
9.3.8　向HDFS文件写入数据的流程/ 500
9.4　DistributedFileSystem的实现/ 506
9.5　HDFS常用工具/ 508
9.5.1　FsShell / 508
9.5.2　DFSAdmin / 510
9.6　小结/ 511
· · · · · · (收起)

读后感

这本书的姊妹篇是《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》，具体见：http://book.douban.com/subject/24375031/ ，这本书从MapReduce角度深入剖析其实现原理，同样值得一看。

《hadoop技术内幕：解析mapreduce架构设计与实现原理》 p35页下方的图： ---------------------------------------- |-block1--|-- block2 --|-- block3--| ---------------------------------------- |<--- split1--->|<--- split2 --->|<--... --------------------------...  

讲解浅显易懂，讲解了Common和HDFS主要结构，配合这这本书和源码，理解起来不难，章节的编排也很合理，很多知识点也可以独立成章，在每一个知识点，作者先是从整体上讲解组件的设计与构造，然后再从源代码的角度分析，很好理解，当然读这本书也需要一定的Java功底，也可以边读...  

Hadoop技术内幕 系列之 “Hadoop Common和HDFS” 花了两周时间阅读，对于一个4年Java基础的我，还是承认有点儿深了，不过看完后，确实收获很多很多…… 看完后回想书中的很多技术点和概念，包括：阻塞/非阻塞IO，线程/守护线程/线程组/线程池/线程安全，远程调用/进程间通信，...  

这本书的姊妹篇是《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》，具体见：http://book.douban.com/subject/24375031/ ，这本书从MapReduce角度深入剖析其实现原理，同样值得一看。

用户评价

作为一个资深的技术爱好者，我最看重一本技术书的**实战价值和前瞻性**。很多书籍内容更新缓慢，等你学完，里面的技术点可能已经被下一代框架所取代。但这本书的优秀之处在于，它没有把重点仅仅放在某个特定版本的特性上，而是**聚焦于那些经久不衰的核心设计模式和不变的原则**。它解释了为什么某些设计决策在过去是合理的，以及在面对未来数据规模的指数级增长时，这些原则将如何指导我们进行架构演进。书中的案例虽然取材于经典场景，但其背后的思想却具有极强的**普适性**，使得我能够将学到的分布式事务处理思想，立刻迁移到我目前负责的新项目中，去审视和优化我们现有的微服务通信机制。这种“授人以渔”的能力，让我觉得这本书的投资回报率极高，它训练的不是我敲代码的能力，而是我**架构思考和问题抽象的能力**。

这本书的章节结构安排，体现了作者对知识体系构建的深刻理解。它不是简单地把各个组件罗列出来，而是构建了一个**层层递进的知识攀登路线图**。开篇扎实地奠定了分布式系统的基础理论，像是打地基一样，为后续深入到具体组件的应用打下了坚实的基础。接着，它巧妙地将存储、计算和资源管理这三大支柱有机地串联起来，你能在阅读计算章节时，清晰地看到它如何反过来依赖和优化了前面介绍的存储机制。最妙的是，作者总能在关键节点设置“深入探讨”或者“陷阱解析”这样的栏目，专门针对那些新手最容易困惑、官方文档往往一笔带过的地方进行**“庖丁解牛”式的拆解**。这种设计极大地提升了阅读的连贯性和效率，让你感觉自己不是在读一本手册，而是在听一位经验丰富的架构师，以**讲故事的方式，一步步带你构建起整个宏大的技术版图**。很少有技术书籍能做到如此流畅的叙事感。

说实话，我刚开始接触大数据领域的时候，感觉就像是站在一片信息的海洋前，各种名词和概念像海浪一样一波高过一波，瞬间就把人拍晕了。我试过好几本入门教材，它们大多侧重于API的使用或者快速搭建环境，讲的都是“怎么做”，但很少深入探讨“为什么是这样”。直到我翻开这本，那种茅塞顿开的感觉才真正出现。作者的叙述方式极其**注重底层逻辑的剖析**，他并没有急于展示代码片段，而是花了大量的篇幅去追溯核心算法的起源和设计的哲学。比如，当讨论到数据分区和负载均衡时，他没有止步于介绍某个工具的参数设置，而是将理论模型，如一致性哈希的演进过程，掰开了揉碎了讲，甚至引入了大量的类比，让我一个非科班出身的读者也能迅速理解其背后的数学原理和工程考量。这本书的深度是循序渐进的，它要求你动脑子去思考，而不是被动地接受指令，这种**思维训练**的价值，远超任何速成指南。

阅读体验方面，这本书绝对是**一次身心愉悦的旅程**。它的纸张选择偏向于哑光质感，有效地减少了长时间阅读时眼睛的疲劳感，这点对于需要长时间面对屏幕的我们来说，是非常贴心的细节。更值得称赞的是，作者的语言风格非常**成熟且富有温度**。他避免了过度使用晦涩的行话堆砌，使得即便是讲解复杂的数据一致性算法时，语句也保持着一种**清晰而富有逻辑的韵律感**。读起来一点都不枯燥，反而有种在和一位学识渊博但又平易近人的导师对话的感觉。比如，他在探讨并发控制时，引用的历史典故和生活中的例子，都恰到好处地润滑了技术概念的坚硬外壳，让那些抽象的并发锁机制变得生动可感。这种**人文关怀和技术深度的完美融合**，使得这本书脱颖而出，它不仅是工具书，更像是一部关于工程智慧的著作，让人在获取知识的同时，也体会到阅读的乐趣和知识的魅力。

这本书的封面设计简直是技术书籍里的**一股清流**。那种深邃的蓝色调，配上抽象的、仿佛数据流动的线条，立刻就抓住了我的眼球。我是在一个技术书店的角落里偶然发现它的，当时还不太确定内容如何，但光是这视觉冲击力，就足以让我把它从书架上抽出来翻阅一番。内页的排版也处理得非常到位，字体大小适中，行间距留白得恰到好处，读起来丝毫没有传统技术书籍那种密密麻麻的压迫感。更让我惊喜的是，作者对图表的运用简直是教科书级别的示范。那些流程图、架构图，不再是生硬的方框连接，而是融入了设计美学，使得复杂的技术概念，比如分布式文件系统的块映射，也能以一种近乎艺术品的方式呈现出来。坦白说，很多技术书光是看着目录就犯怵，但这本给我的第一印象是：**这是一本可以让人心甘情愿沉浸进去，享受阅读过程的书**。它不仅传达了知识，更在细节上体现了对读者的尊重，这种用心的设计感，在当前这个快速迭代的IT圈子里，实在太难得了，光是这一点，就值回票价了。

源码分析就只分析源码吗，画点图讲一下原理可好？

学术气息过重，相同的内容(比如Hadoop自实现的序列化机制)比Hadoop权威指南这本外文书都要晦涩，内容当然好，希望能重视行文。

有点啰嗦，代码片段没头没尾的很难说能提高理解。

学术气息过重，相同的内容(比如Hadoop自实现的序列化机制)比Hadoop权威指南这本外文书都要晦涩，内容当然好，希望能重视行文。

太啰嗦了