大数据技术原理与应用（第2版）

出版者:人民邮电出版社

作者:林子雨

页数:286

出版时间:2017-2

价格:49.80

装帧:平装

isbn号码:9787115443304

丛书系列:大数据创新人才培养系列

作者简介

林子雨，北大博士，厦门大学计算机科学系老师，中国高校首个"数字教师"的提出者和建设者。在数据库、数据仓库、数据挖掘、大数据、云计算和物联网等领域有着十多年的知识积累，对各个领域知识都有比较深入的了解，有比较宽泛的视野。

目录信息

第一篇 大数据基础
第1章 大数据概述 2
1.1 大数据时代 2
1.1.1 第三次信息化浪潮 2
1.1.2 信息科技为大数据时代提供技术支撑 3
1.1.3 数据产生方式的变革促成大数据时代的来临 5
1.1.4 大数据的发展历程 6
1.2 大数据的概念 7
1.2.1 数据量大 7
1.2.2 数据类型繁多 8
1.2.3 处理速度快 9
1.2.4 价值密度低 9
1.3 大数据的影响 9
1.3.1 大数据对科学研究的影响 10
1.3.2 大数据对思维方式的影响 11
1.3.3 大数据对社会发展的影响 11
1.3.4 大数据对就业市场的影响 12
1.3.5 大数据对人才培养的影响 13
1.4 大数据的应用 14
1.5 大数据关键技术 14
1.6 大数据计算模式 15
1.6.1 批处理计算 16
1.6.2 流计算 16
1.6.3 图计算 16
1.6.4 查询分析计算 17
1.7 大数据产业 17
1.8 大数据与云计算、物联网 18
1.8.1 云计算 18
1.8.2 物联网 21
1.8.3 大数据与云计算、物联网的关系 25
1.9 本章小结 26
1.10 习题 26
第2章 大数据处理架构Hadoop 28
2.1 概述 28
2.1.1 Hadoop简介 28
2.1.2 Hadoop的发展简史 28
2.1.3 Hadoop的特性 29
2.1.4 Hadoop的应用现状 29
2.1.5 Hadoop的版本 30
2.2 Hadoop生态系统 30
2.2.1 HDFS 31
2.2.2 HBase 31
2.2.3 MapReduce 31
2.2.4 Hive 32
2.2.5 Pig 32
2.2.6 Mahout 32
2.2.7 Zookeeper 32
2.2.8 Flume 32
2.2.9 Sqoop 32
2.2.10 Ambari 33
2.3 Hadoop的安装与使用 33
2.3.1 创建Hadoop用户 33
2.3.2 Java的安装 34
2.3.3 SSH登录权限设置 34
2.3.4 安装单机Hadoop 34
2.3.5 Hadoop伪分布式安装 35
2.4 本章小结 37
2.5 习题 38
实验1 安装Hadoop 38
第二篇 大数据存储与管理
第3章 分布式文件系统HDFS 42
3.1 分布式文件系统 42
3.1.1 计算机集群结构 42
3.1.2 分布式文件系统的结构 43
3.1.3 分布式文件系统的设计需求 44
3.2 HDFS简介 44
3.3 HDFS的相关概念 45
3.3.1 块 45
3.3.2 名称节点和数据节点 46
3.3.3 第二名称节点 47
3.4 HDFS体系结构 48
3.4.1 概述 48
3.4.2 HDFS命名空间管理 49
3.4.3 通信协议 49
3.4.4 客户端 50
3.4.5 HDFS体系结构的局限性 50
3.5 HDFS的存储原理 50
3.5.1 数据的冗余存储 50
3.5.2 数据存取策略 51
3.5.3 数据错误与恢复 52
3.6 HDFS的数据读写过程 53
3.6.1 读数据的过程 53
3.6.2 写数据的过程 54
3.7 HDFS编程实践 55
3.7.1 HDFS常用命令 55
3.7.2 HDFS的Web界面 56
3.7.3 HDFS常用Java API及应用实例 57
3.8 本章小结 60
3.9 习题 61
实验2 熟悉常用的HDFS操作 61
第4章 分布式数据库HBase 63
4.1 概述 63
4.1.1 从BigTable说起 63
4.1.2 HBase简介 63
4.1.3 HBase与传统关系数据库的对比分析 64
4.2 HBase访问接口 65
4.3 HBase数据模型 66
4.3.1 数据模型概述 66
4.3.2 数据模型的相关概念 66
4.3.3 数据坐标 67
4.3.4 概念视图 68
4.3.5 物理视图 69
4.3.6 面向列的存储 69
4.4 HBase的实现原理 71
4.4.1 HBase的功能组件 71
4.4.2 表和Region 71
4.4.3 Region的定位 72
4.5 HBase运行机制 74
4.5.1 HBase系统架构 74
4.5.2 Region服务器的工作原理 76
4.5.3 Store的工作原理 77
4.5.4 HLog的工作原理 77
4.6 HBase编程实践 78
4.6.1 HBase常用的Shell命令 78
4.6.2 HBase常用的Java API及应用实例 80
4.7 本章小结 90
4.8 习题 90
实验3 熟悉常用的HBase操作 91
第5章 NoSQL数据库 94
5.1 NoSQL简介 94
5.2 NoSQL兴起的原因 95
5.2.1 关系数据库无法满足Web 2.0的需求 95
5.2.2 关系数据库的关键特性在Web 2.0时代成为“鸡肋” 96
5.3 NoSQL与关系数据库的比较 97
5.4 NoSQL的四大类型 98
5.4.1 键值数据库 99
5.4.2 列族数据库 100
5.4.3 文档数据库 100
5.4.4 图数据库 101
5.5 NoSQL的三大基石 101
5.5.1 CAP 101
5.5.2 BASE 103
5.5.3 最终一致性 104
5.6 从NoSQL到NewSQL数据库 105
5.7 本章小结 107
5.8 习题 107
第6章 云数据库 108
6.1 云数据库概述 108
6.1.1 云计算是云数据库兴起的基础 108
6.1.2 云数据库的概念 109
6.1.3 云数据库的特性 110
6.1.4 云数据库是个性化数据存储需求的理想选择 111
6.1.5 云数据库与其他数据库的关系 112
6.2 云数据库产品 113
6.2.1 云数据库厂商概述 113
6.2.2 Amazon的云数据库产品 113
6.2.3 Google的云数据库产品 114
6.2.4 微软的云数据库产品 114
6.2.5 其他云数据库产品 115
6.3 云数据库系统架构 115
6.3.1 UMP系统概述 115
6.3.2 UMP系统架构 116
6.3.3 UMP系统功能 118
6.4 云数据库实践 121
6.4.1 阿里云RDS简介 121
6.4.2 RDS中的概念 121
6.4.3 购买和使用RDS数据库 122
6.4.4 将本地数据库迁移到云端RDS数据库 126
6.5 本章小结 127
6.6 习题 127
实验4 熟练使用RDS for MySQL数据库 128
第三篇 大数据处理与分析
第7章 MapReduce 132
7.1 概述 132
7.1.1 分布式并行编程 132
7.1.2 MapReduce模型简介 133
7.1.3 Map和Reduce函数 133
7.2 MapReduce的工作流程 134
7.2.1 工作流程概述 134
7.2.2 MapReduce的各个执行阶段 135
7.2.3 Shuffle过程详解 136
7.3 实例分析：WordCount 139
7.3.1 WordCount的程序任务 139
7.3.2 WordCount的设计思路 139
7.3.3 WordCount的具体执行过程 140
7.3.4 一个WordCount执行过程的实例 141
7.4 MapReduce的具体应用 142
7.4.1 MapReduce在关系代数运算中的应用 142
7.4.2 分组与聚合运算 144
7.4.3 矩阵-向量乘法 144
7.4.4 矩阵乘法 144
7.5 MapReduce编程实践 145
7.5.1 任务要求 145
7.5.2 编写Map处理逻辑 146
7.5.3 编写Reduce处理逻辑 147
7.5.4 编写main方法 147
7.5.5 编译打包代码以及运行程序 148
7.6 本章小结 150
7.7 习题 151
实验5 MapReduce编程初级实践 152
第8章 Hadoop再探讨 155
8.1 Hadoop的优化与发展 155
8.1.1 Hadoop的局限与不足 155
8.1.2 针对Hadoop的改进与提升 156
8.2 HDFS2.0的新特性 156
8.2.1 HDFS HA 157
8.2.2 HDFS联邦 158
8.3 新一代资源管理调度框架YARN 159
8.3.1 MapReduce1.0的缺陷 159
8.3.2 YARN设计思路 160
8.3.3 YARN体系结构 161
8.3.4 YARN工作流程 163
8.3.5 YARN框架与MapReduce1.0框架的对比分析 164
8.3.6 YARN的发展目标 165
8.4 Hadoop生态系统中具有代表性的功能组件 166
8.4.1 Pig 166
8.4.2 Tez 167
8.4.3 Kafka 169
8.5 本章小结 170
8.6 习题 170
第9章 Spark 172
9.1 概述 172
9.1.1 Spark简介 172
9.1.2 Scala简介 173
9.1.3 Spark与Hadoop的对比 174
9.2 Spark生态系统 175
9.3 Spark运行架构 177
9.3.1 基本概念 177
9.3.2 架构设计 177
9.3.3 Spark运行基本流程 178
9.3.4 RDD的设计与运行原理 179
9.4 Spark的部署和应用方式 184
9.4.1 Spark三种部署方式 184
9.4.2 从“Hadoop Storm”架构转向Spark架构 185
9.4.3 Hadoop和Spark的统一部署 186
9.5 Spark编程实践 186
9.5.1 启动Spark Shell 187
9.5.2 Spark RDD基本操作 187
9.5.3 Spark应用程序 189
9.6 本章小结 192
9.7 习题 193
第10章 流计算 194
10.1 流计算概述 194
10.1.1 静态数据和流数据 194
10.1.2 批量计算和实时计算 195
10.1.3 流计算的概念 196
10.1.4 流计算与Hadoop 196
10.1.5 流计算框架 197
10.2 流计算的处理流程 197
10.2.1 概述 197
10.2.2 数据实时采集 198
10.2.3 数据实时计算 198
10.2.4 实时查询服务 199
10.3 流计算的应用 199
10.3.1 应用场景1：实时分析 199
10.3.2 应用场景2：实时交通 200
10.4 开源流计算框架Storm 200
10.4.1 Storm简介 201
10.4.2 Storm的特点 201
10.4.3 Storm的设计思想 202
10.4.4 Storm的框架设计 203
10.4.5 Storm实例 204
10.5 Spark Streaming 206
10.5.1 Spark Streaming设计 206
10.5.2 Spark Streaming与Storm的对比 207
10.6 本章小结 208
10.7 习题 208
第11章 图计算 210
11.1 图计算简介 210
11.1.1 传统图计算解决方案的不足之处 210
11.1.2 图计算通用软件 211
11.2 Pregel简介 211
11.3 Pregel图计算模型 212
11.3.1 有向图和顶点 212
11.3.2 顶点之间的消息传递 212
11.3.3 Pregel的计算过程 213
11.3.4 实例 214
11.4 Pregel的C API 216
11.4.1 消息传递机制 217
11.4.2 Combiner 217
11.4.3 Aggregator 218
11.4.4 拓扑改变 218
11.4.5 输入和输出 218
11.5 Pregel的体系结构 219
11.5.1 Pregel的执行过程 219
11.5.2 容错性 220
11.5.3 Worker 221
11.5.4 Master 221
11.5.5 Aggregator 222
11.6 Pregel的应用实例 222
11.6.1 单源最短路径 222
11.6.2 二分匹配 223
11.7 Pregel和MapReduce实现PageRank算法的对比 224
11.7.1 PageRank算法 224
11.7.2 PageRank算法在Pregel中的实现 225
11.7.3 PageRank算法在MapReduce中的实现 225
11.7.4 PageRank算法在Pregel和MapReduce中实现的比较 228
11.8 本章小结 228
11.9 习题 228
第12章 数据可视化 230
12.1 可视化概述 230
12.1.1 什么是数据可视化 230
12.1.2 可视化的发展历程 230
12.1.3 可视化的重要作用 231
12.2 可视化工具 233
12.2.1 入门级工具 233
12.2.2 信息图表工具 234
12.2.3 地图工具 235
12.2.4 时间线工具 236
12.2.5 高级分析工具 236
12.3 可视化典型案例 237
12.3.1 全球黑客活动 237
12.3.2 互联网地图 237
12.3.3 编程语言之间的影响力关系图 238
12.3.4 百度迁徙 239
12.3.5 世界国家健康与财富之间的关系 239
12.3.6 3D可视化互联网地图APP 239
12.4 本章小结 240
12.5 习题 240
第四篇 大数据应用
第13章 大数据在互联网领域的应用 242
13.1 推荐系统概述 242
13.1.1 什么是推荐系统 242
13.1.2 长尾理论 243
13.1.3 推荐方法 243
13.1.4 推荐系统模型 244
13.1.5 推荐系统的应用 244
13.2 协同过滤 245
13.2.1 基于用户的协同过滤 245
13.2.2 基于物品的协同过滤 246
13.2.3 UserCF算法和ItemCF算法的对比 248
13.3 协同过滤实践 248
13.3.1 实践背景 248
13.3.2 数据处理 249
13.3.3 计算相似度矩阵 249
13.3.4 计算推荐结果 250
13.3.5 展示推荐结果 250
13.4 本章小结 251
13.5 习题 251
第14章 大数据在生物医学领域的应用 252
14.1 流行病预测 252
14.1.1 传统流行病预测机制的不足 252
14.1.2 基于大数据的流行病预测 253
14.1.3 基于大数据的流行病预测的重要作用 253
14.1.4 案例：百度疾病预测 254
14.2 智慧医疗 255
14.3 生物信息学 256
14.4 案例：基于大数据的综合健康服务平台 257
14.4.1 平台概述 257
14.4.2 平台业务架构 258
14.4.3 平台技术架构 258
14.4.4 平台关键技术 259
14.5 本章小结 260
14.6 习题 261
第15章 大数据的其他应用 262
15.1 大数据在物流领域中的应用 262
15.1.1 智能物流的概念 262
15.1.2 智能物流的作用 263
15.1.3 智能物流的应用 263
15.1.4 大数据是智能物流的关键 263
15.1.5 中国智能物流骨干网—菜鸟 264
15.2 大数据在城市管理中的应用 266
15.2.1 智能交通 266
15.2.2 环保监测 267
15.2.3 城市规划 268
15.2.4 安防领域 269
15.3 大数据在金融行业中的应用 269
15.3.1 高频交易 269
15.3.2 市场情绪分析 269
15.3.3 信贷风险分析 270
15.4 大数据在汽车行业中的应用 271
15.5 大数据在零售行业中的应用 272
15.5.1 发现关联购买行为 272
15.5.2 客户群体细分 273
15.5.3 供应链管理 273
15.6 大数据在餐饮行业中的应用 274
15.6.1 餐饮行业拥抱大数据 274
15.6.2 餐饮O2O 274
15.7 大数据在电信行业中的应用 276
15.8 大数据在能源行业中的应用 276
15.9 大数据在体育和娱乐领域中的应用 277
15.9.1 训练球队 277
15.9.2 投拍影视作品 278
15.9.3 预测比赛结果 279
15.10 大数据在安全领域中的应用 280
15.10.1 大数据与国家安全 280
15.10.2 应用大数据技术防御网络攻击 280
15.10.3 警察应用大数据工具预防犯罪 281
15.11 大数据在政府领域中的应用 282
15.12 大数据在日常生活中的应用 283
15.13 本章小结 284
15.14 习题 284
参考文献 285
· · · · · · (收起)

读后感

五年前刚毕业的时候，听一个大佬的演讲，以后的技术趋势是“大物移云”，大佬本身也是大数据方面的大牛，当时崇拜大佬，让我对大数据产生了兴趣。后来工作是偏通信网络，工作了三年后，毅然辞职，投身大数据领域，学习了数据分析、机器学习方面的知识，有一定的基础，但是对大...  

五年前刚毕业的时候，听一个大佬的演讲，以后的技术趋势是“大物移云”，大佬本身也是大数据方面的大牛，当时崇拜大佬，让我对大数据产生了兴趣。后来工作是偏通信网络，工作了三年后，毅然辞职，投身大数据领域，学习了数据分析、机器学习方面的知识，有一定的基础，但是对大...  

看过老师的视频，知道这本书，非常好，老师视频讲解的很好，都是干货，原理这种解释，是其他的不常见的，第二版书不知道什么时候出来、 出来的话一定买一本，留存。 评论多长够长，难道这也算短？长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长...

很少豆瓣评论，看到这本书在这里所遭到的冷落，为它惋惜之余，实在忍不住想为它在这里推荐一下。 虽然这本书的本意是作为学校相应课程的指导教材，但是对像我这样不太了解大数据的人来说， 这确实是一本非常好的入门教材。对大数据的概念及相应的技术原理和应用（分布式存储和...  

看过老师的视频，知道这本书，非常好，老师视频讲解的很好，都是干货，原理这种解释，是其他的不常见的，第二版书不知道什么时候出来、 出来的话一定买一本，留存。 评论多长够长，难道这也算短？长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长长...

用户评价

这次阅读《大数据技术原理与应用（第2版）》的体验，真的可以用“醍醐灌顶”来形容。作为一名在数据分析领域工作多年的从业者，我一直想更深入地理解大数据背后的技术驱动力，而这本书恰恰满足了我的需求。它没有回避那些复杂的技术细节，反而以一种非常清晰、有条理的方式，将分布式计算、数据挖掘、机器学习等核心概念一一呈现。我尤其喜欢其中关于数据挖掘算法部分，它不仅仅是列出算法名称，而是深入解释了这些算法的工作原理，以及在海量数据上进行应用的注意事项和优化技巧。书中还花了很大的篇幅讲解了数据仓库的设计理念和实践，以及如何利用 Kimball 的维度建模方法来构建高效的数据集市，这对于我进行更深入的数据分析和报表设计非常有启发。而且，作者在书中融入了大量的业界最佳实践和案例研究，让我能够看到这些看似抽象的技术是如何在现实世界中解决实际问题的，例如在推荐系统、风控模型等方面，都提供了非常具体的思路和方法。这本书的写作风格非常严谨，但又充满了智慧，让我一边阅读一边思考，感觉自己每一次翻页都在吸收新的知识。

拿到《大数据技术原理与应用（第2版）》的时候，我其实是带着一种“试试看”的心态，因为市面上关于大数据的书很多，但真正能写得既有深度又有广度，还能兼顾实践的却不多。这本书完全超出了我的预期，它对大数据技术的阐述，可以说是做到了“有深度但不晦涩，有广度但不浮浅”。我特别喜欢它在讲解分布式系统架构时，那种层层递进的方式，先从宏观的理念入手，然后逐步深入到具体的组件和协议。比如，在介绍消息队列时，它不仅仅是列举了Kafka、RabbitMQ等工具，更重要的是深入剖析了它们在实现高吞吐量、低延迟的机制，以及在数据流处理中的关键作用。而且，书中对各种大数据处理框架的对比也非常到位，比如Spark和Hadoop MapReduce的性能差异，以及它们各自适合的应用场景，这对我理解如何在实际项目中选择合适的技术栈非常有帮助。我尤其欣赏书中关于数据可视化和大数据安全的那部分，虽然不是核心的计算和存储，但这些方面同样是大数据应用不可或缺的组成部分，作者在这方面的讲解也同样深入且实用。总的来说，这本书为我构建了一个完整、扎实的大数据技术知识体系，让我对如何从海量数据中提取价值有了更系统、更全面的认识。

哇，这本书简直是打开了我对大数据世界的一扇新大门！拿到《大数据技术原理与应用（第2版）》的时候，我本来还只是想找些基础概念来应付一下工作上的需求，没想到翻开第一页就陷进去了。作者的讲解方式非常生动，不是那种枯燥的教科书式叙述，而是通过一个个贴近实际的案例，把那些看似高深的分布式计算、数据存储、数据处理框架讲得浅显易懂。我尤其喜欢其中关于Hadoop生态系统的那几章，比如MapReduce的设计思想，还有HDFS的容错机制，以前我总觉得这些东西很抽象，但这本书里用了很多形象的比喻，就像是在听一个经验丰富的老工程师在娓娓道来，让我一下子就抓住了核心。而且，它不仅仅是理论，还穿插了很多实践指导，比如如何搭建一个简单的Hadoop集群，或者如何编写第一个MapReduce程序，这些都非常有操作性。我按照书中的步骤，真的成功运行了一个小程序，那种成就感简直无法言喻。对于初学者来说，这本书的门槛不高，但又足够深入，能够带领你从零开始，逐步建立起对大数据技术栈的全面认知。现在，我对如何处理海量数据，如何从中挖掘价值，心里已经有了更清晰的蓝图，这对于我今后的工作方向非常有帮助。

说实话，我最开始是被《大数据技术原理与应用（第2版）》这本书的名字吸引了，感觉它涵盖了技术和实际应用两个重要方面，这是我一直以来想深入了解的。读完之后，我只能说，这本书的价值远远超出了我的预期。它在理论部分的阐述非常严谨，但又避免了过度学术化，重点放在了揭示大数据技术背后的核心原理。例如，它深入剖析了分布式存储的权衡，比如CAP理论在实际系统设计中的应用，以及各种 NoSQL 数据库是如何解决关系型数据库在处理海量、高并发数据时遇到的瓶颈的。最让我印象深刻的是关于数据仓库和数据湖的章节，清晰地阐述了它们各自的优缺点以及在不同场景下的适用性。而且，这本书并没有止步于基础原理，而是花了很多篇幅讲解了当前业界主流的大数据处理框架，比如Spark，它在内存计算方面的优势，以及如何利用Spark进行复杂的 ETL 和机器学习任务。书中提供了大量的代码示例和伪代码，虽然我还没有来得及全部敲一遍，但光是阅读这些示例，就能体会到框架的设计思路和解决问题的巧妙之处。总的来说，这本书给我提供了一个非常坚实的大数据技术理论基础，并且让我对如何将这些技术应用到实际业务场景中有了更深刻的理解，为我应对工作中的大数据挑战打下了坚实的基础。

对于像我这样，在大数据领域摸爬滚打了一段时间，但总觉得知识体系不够系统和完整的人来说，《大数据技术原理与应用（第2版）》就像是为我量身定做的“知识补丁”。它并没有从最基础的“什么是大数据”讲起，而是直接切入了更核心的“原理与应用”，这一点我非常赞赏。书中对于分布式计算模型，比如MapReduce和Spark的演进，以及它们在性能优化上的区别，讲解得鞭辟入里。尤其是关于Spark的 Streaming 和 MLlib 部分，让我对实时数据处理和机器学习在大数据平台上的应用有了更清晰的认识。作者的叙述方式非常有逻辑性，一步步引导读者理解复杂的技术概念，并且非常注重细节，例如在讲解HDFS时，它不仅仅说明了它的分布式特性，还详细解释了NameNode和DataNode之间的交互机制，以及它是如何保证数据的高可用性和容错性的。此外，这本书在应用层面也做得非常出色，它列举了大数据技术在金融、电商、医疗等多个行业的实际案例，让我看到了这些技术是如何被转化为实际的业务价值的。读完这本书，我感觉自己不仅掌握了技术，还对如何结合业务需求来选择和运用大数据技术有了更成熟的思考。

了解Hadoop的框架和各个功能

6

比较通俗易懂的入门书，需要配合博文阅读

MapReduce 和流计算（storm）是看过讲的最清楚的，图计算就看的有点蒙。每一章都有实战部分，而且后面都有练习也是很赞。需要重复读一次把习题都做了加深理解。

构建了大致的知识图谱，很好的入门书籍。