大数据架构师指南

出版者:清华大学出版社

作者:朱进云

页数:271

出版时间:2016-6-1

价格:45

装帧:平装

isbn号码:9787302435167

具体描述

如果你是一名IT工程师，CTO希望你在一周内提交一份公司未来IT系统基础架构的初步建议；

如果你是一位IT营销人员，客户需要你在一周内向他汇报未来大数据系统的大致技术方向；

……

在这个信息严重过剩的时代，一周内从浩渺的技术细节的海洋中抓住关键的技术脉络，并进一步提出有一定理论依据的技术思考，这几乎是不可能完成的任务。

您是否想过阅读一本关于大数据的图书帮助解决如上问题？

浩如烟海的大数据领域图书可以大致归纳为三类：第一类是描述大数据的应用前景与社会意义；第二类是研讨大数据作为一个大型IT系统的系统架构与技术架构；第三类是研讨大数据领域的具体技术，例如HADOOP相关的编程等。

对于需要快速掌握大数据系统技术脉络，或者是需要对未来IT系统做系统思考的技术工作者来说，最需要的是第二类图书所提供的系统化知识。但目前业界大数据相关的书籍与资料，大多是第一类与第三类，第二类非常稀少，以至于某些希望开展大数据课程教学的高校难以找到合适的教材与参考数据。通过阅读本书，您将可以迅速建立大数据技术架构相关的知识与脉络，而不是迷失在浩如烟海的知识细节中。

本书的目的就是为了帮助读者在最短的时间内，系统地把握大数据相关的技术框架，建立系统架构级别的技术思考能力与原则。本书适用于企业的IT与大数据的从业人员，IT与大数据相关的销售人员，企业的首席技术官（CTO）、首席信息官（CIO），由于本书在大数据知识具备系统性，也可以作为高校大数据方面课程的教材或辅导书。

作者简介

陈坚，高级工程师，1995年加入中兴通讯，现任中兴通讯中心研究院副院长，先后主持会议电视、核心网、统一网管平台、大数据平台系统架构设计及经营工作，多次获得国家、省市科技进步奖。具有近20年的电信行业从业经验，积累了深厚的技术专业知识和丰富的管理经验。

目录信息

第一部分 大数据架构师入门
第1章 大数据概述 3
1.1 什么是大数据 4
1.2 大数据的本质 6
1.3 大数据技术当前状态 8
1.4 大数据的技术发展趋势 11
第2章 大数据项目常见场景 13
2.1 实验型部署场景 14
2.2 中小型部署场景 16
2.3 大型部署场景 19
第3章 大数据方案关键因素 23
3.1 数据存储规模与数据类型 24
3.2 数据来源与数据质量 25
3.3 业务特征 26
3.4 经济可行性 27
3.5 运维管理要求 28
3.6 安全性要求 29
3.7 部署要求 31
3.8 系统边界 32
3.9 约束条件 34
3.10 要点回顾 34
第二部分 大数据架构师基础
第4章 Hadoop基础组件 39
4.1 Hadoop简介 40
4.2 Hadoop版本演进 41
4.3 Hadoop2.0生态系统简介 42
4.4 Hadoop分布式文件系统HDFS 43
4.5 Hadoop统一资源管理框架YARN 48
4.6 Hadoop分布式计算框架MapReduce 52
4.7 Hadoop分布式集群管理系统ZooKeeper 57
第5章 Hadoop其他常用组件 61
5.1 Hadoop数据仓库工具Hive 62
5.2 Hadoop分布式数据库 HBase 65
5.3 Hadoop实时流处理引擎 Storm 70
5.4 Hadoop交互式查询引擎 Impala 74
5.5 其他常用组件 78
第6章 Spark内存计算框架 83
6.1 内存计算与Spark 84
6.2 Spark的主要概念 86
6.3 Spark核心组件介绍 96
6.4 Spark与Hadoop之间的关系 100
6.5 要点回顾 104
第7章大数据中间件层 105
7.1 中间件层简介 106
7.2 中间件层产品介绍 107
7.3 中间件层的应用 121
7.4 中间件层的发展 124
7.5 要点回顾 128
第8章大数据分析 129
8.1 数据时代 131
8.2 先进分析 133
8.3 架构与平台 136
8.4 数据分析流程 140
8.5 要点回顾 143
第9章可视化技术 145
9.1 可视化技术引言 146
9.2 什么是数据可视化 147
9.3 数据可视化设计 151
9.4 数据可视化的发展趋势 160
9.5 要点回顾 161
第10章大数据安全 163
10.1 安全体系 164
10.2 大数据系统安全 168
10.3 要点回顾 180
第11章大数据管理 181
11.1 数据管理的范围和定义 182
11.2 开源软件的管理能力 183
11.3 国内主流管理 187
11.4 大数据管理展望 195
11.5 要点回顾 195
第三部分大数据架构师实践
第12章大数据项目实践 199
12.1 大数据项目架构关键步骤 201
12.2 架构师实践思考 213
第13章大数据部署实践 217
13.1 中兴通讯DAP大数据平台功能和架构 218
13.2 DAP平台特点 219
13.3 某银行成功案例 220
第四部分 大数据架构师拓展
第14章分布式系统与大数据的关系 229
14.1 分布式系统概述 230
14.2 分布式系统关键协议和算法概述 237
14.3 分布式系统和大数据 241
第 15 章数据库系统与大数据的关系 245
15.1 数据库系统的历史 246
15.2 各类系统求同存异 258
15.3 大数据的发展展望 259
第16章云计算与大数据的关系 261
16.1 虚拟化概述 262
16.2 OpenStack云管理架构实现 267
16.3 大数据基于云计算IAAS部署的探讨 274
后记 277
· · · · · · (收起)

读后感

这本《大数据架构师指南》从实践出发进行描述，很多思路的总结都是有具体的实战案例举例，作者也都做了很好的总结和提炼，非常适合入门大数据，非常值得推荐。作者有中兴通讯的强大技术背景，对文章的技术探讨非常的到位，而且也非常通俗易懂，结合相关实践案例，为我们打开了...  

很不错的一本书，把主流的大数据技术都包含进去了，基本上靠一本书就把大部分大数据技术都搞明白了，也有一定深度，而且还有大企业的实际案例，内容上还是很有些真材实料的，不像有些大数据的书只是泛泛而谈，是一本靠谱的技术书籍，写的也比较深入浅出，很对我这样的IT技术人...  

近些年大数据的概念很火爆，从不同渠道也听说了大数据的应用，但一直没能系统的阅读和熟悉大数据相关的知识和架构，听了朋友的推荐，这本书不仅详细的描述了大数据相关的技术知识，通过具体实际的案例，引入的场景，存在的价值及利益的增长点很好的描述了大数据的系统架构，值...

作者太厉害了，现在越来越多的人关注大数据，但是比较接地气的介绍大数据方面的书不多，这本书非常不错，能够把非常复杂的事讲的非常通俗易懂，对工作非常有帮助，而且书中也有大量的实例参考，有助于不论是初学者还是专业人士参考使用  

很不错的一本书，把主流的大数据技术都包含进去了，基本上靠一本书就把大部分大数据技术都搞明白了，也有一定深度，而且还有大企业的实际案例，内容上还是很有些真材实料的，不像有些大数据的书只是泛泛而谈，是一本靠谱的技术书籍，写的也比较深入浅出，很对我这样的IT技术人...  

用户评价

这本《大数据架构师指南》的封面设计极具工业感，那种深邃的蓝色背景配上抽象的数据流线条，让人一眼就能感受到它蕴含的专业性和技术深度。我花了整整一周的时间才把它从头到尾粗略地浏览了一遍，最直观的感受是，这本书的覆盖面之广，简直像一张拉满的知识网络。它并没有直接跳入那些花哨的新技术名词，而是非常扎实地从数据生命周期的角度，系统地梳理了从数据采集、存储、处理到最终价值提取的全过程。尤其是关于数据治理和安全性的章节，写得尤为透彻，不像市面上很多书籍只关注性能优化，这本书清晰地指出，没有稳固的治理基础，再快的引擎也只是空中楼阁。作者似乎非常理解架构师在实际工作中面临的权衡取舍，比如在CAP理论的实际应用中，如何根据业务场景选择最合适的妥协点，这些都是教科书里很少能提及的实战经验。对于想要从资深工程师转型到架构师层级的人来说，这本书提供的不仅仅是工具箱，更像是一份经过时间沉淀的“方法论蓝图”。

这本书给我带来的最大转变，是看待数据平台建设的视角从“技术堆砌”转向了“业务驱动”。在后续的架构评审会议上，我发现自己不再热衷于推销那些最新、最炫的技术栈，而是更关注于如何用现有最稳定、最经济的技术组合，去精准解决当前的业务瓶颈。书中后半部分关于数据质量监控和自动化运维的部分，是其点睛之笔。在现代大规模系统中，运维的复杂度往往是压倒架构的最后一根稻草。作者详细介绍了如何利用AIOps的思想来构建自愈合的数据管道，以及如何设计精细化的告警阈值来避免“狼来了”效应。这部分内容给我极大的启发，让我意识到一个成功的“大数据架构”必须是高度可观测和低干预的。总而言之，这是一部需要被反复研读的案头工具书，它不是那种读完一遍就束之高阁的快餐读物，而是一本会随着你职业生涯的深入而不断提供新视角的宝藏。

这本书的结构安排颇具匠心，它没有被最新的技术热点牵着鼻子走，而是聚焦于那些“永恒不变”的底层原理。比如，关于NoSQL数据库选型的那一章，它没有简单地罗列MongoDB、Cassandra的特性，而是用大量的篇幅解释了不同索引结构如何影响查询性能，以及在多租户环境下，如何设计数据的分区键才能避免热点问题。这对于我这种需要不断在不同客户和行业间切换的技术人员来说，简直是救命稻草。以往我可能需要翻阅十多份官方文档才能拼凑出来的选型思路，这本书一次性给出了清晰的决策树。此外，书中对成本效益分析的引入也让我眼前一亮。架构师的职责不仅仅是构建一个功能完善的系统，更要确保其在经济上是可持续的。书中关于云原生架构下的资源弹性伸缩、Serverless模式的成本控制建议，都显得非常务实和接地气，完全没有那种脱离实际的“学院派”空谈，读完之后，我立即在手头的SLA优化方案中引入了新的评估维度。

坦率地说，这本书的阅读体验并非一帆风顺，它对读者的基础知识要求是相当高的。如果你对分布式事务、一致性模型、网络协议等核心概念不甚了解，那么初读时可能会感到吃力，很多段落需要反复琢磨，甚至需要查阅其他资料来辅助理解。但正是这种挑战性，体现了它的价值所在。它不是一本面向新手的“入门速成手册”，更像是一本面向资深从业者的“深度内功心法”。我特别欣赏作者在描述复杂系统设计时所采用的类比和图示，虽然文字密度极高，但配图往往能一语道破核心难点。例如，在解释数据管道的背压处理机制时，它用一个形象的“水池溢出”模型，瞬间将抽象的概念具象化。这种将复杂问题简单化的能力，是真正的高手风范。这本书的阅读过程，更像是一次高强度的思维训练，它迫使你去思考“为什么”而不是仅仅停留在“怎么做”。

我一直以为自己对分布式系统的理解已经够用了，毕竟在过去的项目里我也搭过好几个Hadoop集群。但读了这本书的中间部分，尤其是关于流式计算与批处理融合的章节后，我才意识到自己的理解可能还停留在“能跑起来”的阶段，而非“最优设计”的层面。书中对Lambda和Kappa架构的对比分析，加入了作者多年来的实际项目血泪史，那种描述感极强，仿佛我能闻到当时服务器机房里传来的热气和咖啡的苦涩。它没有直接告诉你该用Flink还是Spark Streaming，而是深入剖析了两者在延迟敏感度、容错机制和维护复杂性上的内在差异。最让我受益匪浅的是关于“数据湖”与“数据仓库”边界模糊化处理的讨论，书中提出的“数据网格”概念，虽然不是什么横空出世的新鲜事物，但作者将其融入到现有技术栈的演进中，提供了一套可落地的实施路径。这本书的语言风格非常硬核，但逻辑推导严密到令人折服，读起来就像是跟随一位经验丰富的老兵在进行战术复盘，每一步决策背后都有坚实的理论和大量的试错成本作为支撑。

这本书写的通俗易懂，内容详实，举例很多，内容也相对很全面

大数据知识普及读物，内容堆砌而成。

干货

入门扫盲，名不副实。

体系化的介绍大数据，表现中规中矩