MapReduce设计模式

出版者:人民邮电出版社

作者:[美]Donald Miner

页数:213

译者:徐钊

出版时间:2014-9-1

价格:49.00

装帧:平装

isbn号码:9787115360946

具体描述

MapReduce作为一种分布式海量数据处理的编程框架，已经得到业界的广泛关注。随着Hadoop的普及，MapReduce目前已经成为海量数据处理的最基础但也是最重要的方法之一。

《MapReduce设计模式》是一本关于设计模式的书，为读者提供解决问题的模板或通用指南。书中主要介绍编程模式，即如何利用MapReduce框架解决一类问题，重在提供解决问题的方法和思路。作者花大量篇幅介绍各种模式的原理及实现机制，并给出相应的应用实例，让读者对每种模式能有更直观的理解。

由于本书不会过多涉及底层框架及MapReduce API，所以希望读者阅读《MapReduce设计模式》之前，能够对Hadoop系统有所了解，知道如何编写MapReduce程序，并了解MapReduce程序框架的工作原理。《MapReduce设计模式》面向中高级MapReduce开发者，涵盖了绝大部分MapReduce编程可能面对的场景，相信初学者和专家同样可以在本书中得到一些启示。

作者简介

Donald Miner目前是EMC Greenplum的解决方案架构师，为实现与使用基于Greenplum的大数据系统的用户提供咨询和帮助。在加入Greenplum之前，Miner博士作为承包商为美国政府部署和构建了多个规模巨大且涉及关键任务的Hadoop集群。他还参与了教学，在马里兰大学巴尔的摩分校（UMBC）讲授Hadoop方面的业界前沿相关的课程以及各种人工智能课程。Miner博士在UMBC获得了计算机科学的博士学位，读博士期间他的研究主题为机器学习，博士论文的主题是多智能体系统。

Adam Shook是ClearEdge IT Solutions公司的软件工程师，从事一些大数据技术工作，如Hadoop、Accumulo、Pig以及ZooKeeper。Shook在马里兰大学巴尔的摩分校（UMBC）获得了计算机科学的学士学位，并得到了一份为游戏工作室构建一个全新的高性能图像引擎的工作。为了寻求新的挑战，他在UMBC就读研究生，主要专注的研究方向是分布式计算的相关技术。他很快找到了一份开发工作，作为美国政府承包商，从事大规模的Hadoop部署。Shook参与了Hadoop和Pig的开发及培训课程的指导。在繁忙工作的间隙他喜欢参与相关项目，玩视频游戏。

目录信息

第1章　设计模式与MapReduce　1
1．1　设计模式　2
1．2　MapReduce简史　3
1．3　MapReduce和Hadoop简介　4
1．4　Hadoop示例：单词计数　6
1．5　Pig和Hive　10
第2章　概要模式　12
2．1　数值概要　12
2．1．1　模式描述　12
2．1．2　数值概要示例　16
2．2　倒排索引概要　30
2．2．1　模式描述　30
2．2．2　倒排索引示例　32
2．3　计数器计数　34
2．3．1　模式描述　34
2．3．2　计数器计数示例　36
第3章　过滤模式　39
3．1　过滤　40
3．1．1　模式描述　40
3．1．2　过滤示例　43
3．2　布隆过滤　45
3．2．1　模式描述　45
3．2．2　布隆过滤器示例　48
3．3　Top 10　53
3．3．1　模式描述　53
3．3．2　Top 10示例　58
3．4　去重　60
3．4．1　模式描述　60
3．4．2　去重示例　63
第4章　数据组织模式　65
4．1　分层结构　65
4．1．1　模式描述　65
4．1．2　分层结构示例　69
4．2　分区　76
4．2．1　模式描述　76
4．2．2　分区示例　79
4．3　分箱　81
4．3．1　模式描述　81
4．3．2　分箱示例　83
4．4　全排序　85
4．4．1　模式描述　85
4．4．2　全排序示例　88
4．5　混排　92
4．5．1　模式描述　92
4．5．2　混排示例　93
第5章　连接模式　96
5．1　连接简介　97
5．2　reduce端连接　102
5．2．1　模式描述　102
5．2．2　reduce端连接示例　104
5．2．3　使用布隆过滤器的reduce端连接　110
5．3　复制连接　112
5．3．1　模式描述　112
5．3．2　复制连接示例　114
5．4　组合连接　116
5．4．1　模式描述　116
5．4．2　组合连接示例　119
5．5　笛卡儿积　121
5．5．1　模式描述　121
5．5．2　笛卡儿积示例　124
第6章　元模式　131
6．1　作业链　131
6．1．1　关于驱动程序　132
6．1．2　作业链示例　133
6．1．3　关于shell脚本　142
6．1．4　关于JobControl　145
6．2　链折叠　149
6．2．1　ChainMapper方法和ChainReducer方法　153
6．2．2　链折叠示例　153
6．3　作业归并　158
作业归并示例　160
第7章　输入和输出模式　166
7．1　在Hadoop中自定义输入和输出　166
7．1．1　InputFormat　167
7．1．2　RecordReader　168
7．1．3　OutputFormat　169
7．1．4　RecordWriter　170
7．2　生成数据　170
7．2．1　模式描述　170
7．2．2　生成数据示例　172
7．3　外部源输出　177
7．3．1　模式描述　177
7．3．2　外部源输出示例　179
7．4　外部源输入　183
7．4．1　模型描述　183
7．4．2　外部源输入示例　185
7．5　分区裁剪　190
7．5．1　模式描述　190
7．5．2　分区裁剪示例　192
第8章　最后的思考与设计模式的未来　203
8．1　数据的本质趋势　203
8．1．1　图像、音频和视频　203
8．1．2　流式数据　204
8．2　YARN的影响　204
8．3　作为库或者组件的模式　205
8．4　读者可以帮到什么　205
附录　布隆过滤器　207
· · · · · · (收起)

用户评价

坦率地说，初看目录时，我曾担心这本书会过于学术化，充满枯燥的数学推导。然而，实际阅读后，我的顾虑完全烟消云散。作者在保持技术深度和严谨性的同时，巧妙地融入了大量生动的、贴近实际生产环境的案例。这些案例并非虚构的“玩具数据”，而是那些在真实世界中让无数团队抓耳挠腮的棘手问题。比如，书中对迭代计算模型的优化讨论，它不仅描述了如何改进数据访问模式，还深入探讨了这种改进对资源调度和集群稳定性的连锁反应。这种全景式的视角，极大地拓宽了我的视野。这本书的行文风格非常像一位经验丰富、且极富耐心的导师，他知道在哪里需要放慢脚步，详细讲解关键概念，又知道何时需要果断推进，将读者引向更深层次的挑战。它很少使用晦涩的行话，即便有，也会立刻用清晰的比喻进行解释，确保了即便是对分布式系统不甚熟悉的新手也能跟上节奏，而资深人士则能从中找到新的灵感。

这部作品甫一问世，便在数据处理领域激起了不小的涟漪，它不仅仅是一本技术手册，更像是一部关于如何与海量数据共舞的哲学指南。我初次翻阅时，就被其行文的流畅与逻辑的严谨所吸引。作者似乎有一种魔力，能将那些原本晦涩难懂的分布式计算概念，层层剥开，直至最核心的原理清晰可见。它没有陷入无休止的API罗列和代码片段的堆砌，反而着重于“思想”的构建。比如，书中对数据划分策略的探讨，那种深入骨髓的分析，让我意识到以往自己对并行处理的理解是多么肤浅和碎片化。它引导读者跳出具体的工具限制，去思考更深层次的计算模型，就像在教你如何炼钢，而不是仅仅如何使用一把锤子。特别是关于“中介数据”的处理和容错机制的设计，那些精巧的权衡与取舍，简直是艺术品级别的设计展示。读完之后，我感觉自己对整个大数据生态的宏观把握能力得到了质的提升，不再是只见树木不见森林的技术人员，而是能洞察全局的架构师。对于任何希望在数据洪流中站稳脚跟的工程师而言，这绝对是案头必备的珍宝。

这本书最让我赞叹的一点，是它对“模式”这一概念的深刻理解和系统化梳理。它并没有把各种技术点零散地丢给读者，而是将它们组织成了一套清晰、可复用的设计蓝图。这套蓝图，就像是建筑师手中经过千锤百炼的结构模型，具有极强的普适性。我特别喜欢其中关于数据流程管道化设计的章节，它展示了如何将复杂的 ETL 任务分解成一系列相互独立的、可测试的模块，极大地提高了系统的可维护性和开发效率。书中对特定场景下选择不同数据结构进行优化的小技巧，更是让人受益匪浅，那些细微的调整，往往能带来数量级的性能提升，这是只有在实战中摸爬滚打多年才能总结出来的宝贵经验。阅读这本书的过程，更像是一次高级软件工程的实战演练，它教会我的，是如何在资源有限、需求多变的复杂环境下，构建出既高效又优雅的解决方案。它让人从“修复Bug”的状态，提升到了“预防设计缺陷”的层次。

这部作品的问世，无疑是对当前大数据技术栈中“模式缺失”这一痛点的一次有力回应。它的结构安排极具匠心，从基础的并行计算哲学出发，逐步深入到复杂的数据聚合与状态维护，每一步都构建在前一步坚实的基础之上。我尤其对书中关于如何平衡计算的本地性与数据的可访问性之间的张力分析印象深刻。作者没有提供一成不变的银弹，而是提供了一套严谨的决策框架，让你能够根据具体的数据集特性、集群规模以及业务延迟要求，自主地推导出最优的计算策略。这是一种赋能，而非强迫接受。书中的配图和图表也起到了画龙点睛的作用，它们并非简单的示意图，而是精确地映射了数据在集群中流转的真实路径和潜在瓶颈，使得抽象的概念瞬间具象化。对于寻求突破现有技术瓶颈，渴望从“会用”到“精通”的专业人士来说，这本书是不可多得的登云梯。它带来的不仅是知识的增长，更是一种对高性能计算设计思路的重塑。

这本书的阅读体验，用“酣畅淋漓”来形容或许都不够贴切，它更像是一次对思维定势的彻底颠覆。与市面上那些只停留在“如何使用”层面的书籍不同，它更像是一本“为什么是这样”的深度探源。我尤其欣赏作者在叙述复杂算法流程时所展现出的那种细腻的笔触，仿佛每一个步骤的引入都有其必然的历史和技术背景支撑。书中对于 Shuffle 阶段的性能瓶颈分析，简直是教科书级别的案例剖析，它没有回避那些让人头疼的I/O瓶涌现，而是直接展示了如何通过巧妙的内存管理和预聚合，将性能提升到一个新的台阶。读到那些关于数据倾斜处理的章节时，我甚至产生了一种“原来如此”的顿悟感，那份豁然开朗的喜悦，是其他技术书籍很少能给予的。它没有给我标准答案，而是给我了一套完整的思考工具箱，让我能够自信地去面对任何未知的数据挑战。这本书的价值在于，它教会了我如何去“设计”一个健壮的、可扩展的计算流程，而不是简单地套用模板。

醍醐灌顶，常用到的大数据计算思维都有。

大部分内容已经知道了，读着没什么新意，入门书而已

作为mapreduce入门，这本书真的很不错，之前书刚上来就买了，然后发现其实在国外2012年时候就有了，有种差距好大的感觉

作为mapreduce入门，这本书真的很不错，之前书刚上来就买了，然后发现其实在国外2012年时候就有了，有种差距好大的感觉

醍醐灌顶，常用到的大数据计算思维都有。