大数据技术入门

出版者:清华大学出版社

作者:杨正洪

页数:0

出版时间:2016-8

价格:59

装帧:平装

isbn号码:9787302442837

具体描述

从2015年开始，国内大数据市场继续保持高速的发展态势，作者在与地方政府、证券金融公司的项目合作中发现，他们对大数据技术很感兴趣，并希望从大数据技术、大数据采集、管理、分析以及可视化等方面得到指导和应用帮助。因此编写了这本大数据技术的快速入门书。 本书共12章，以Hadoop和Spark框架为线索，比较全面地介绍了Hadoop技术、Spark技术、大数据存储、大数据访问、大数据采集、大数据管理、大数据分析等内容。最后还给出两个案例：环保大数据和公安大数据，供读者参考。 本书适合大数据技术初学者，政府、金融机构的大数据应用决策和技术人员，IT经理，CTO，CIO等快速学习大数据技术。本书也可以作为高等院校和培训学校相关专业的培训教材。

作者简介

本书作者杨正洪是国内知名大数据专家，毕业于美国State University of New York at Stony Brook，在IBM公司从事大数据相关研发工作12年多。从2003~2013年，杨正洪在美国加州的IBM硅谷实验室（IBM Silicon Valley Lab）负责IBM大数据平台的设计、研发和实施，主持了保险行业、金融行业、政府行业的大数据系统的架构设计和实施。

杨正洪是华中科技大学和中国地质大学客座教授，拥有国家专利，是湖北省2013年海外引进人才。受武汉市政府邀请，杨正洪于2012年12月发起成立武汉市云升科技发展有限公司，并获得东湖高新技术开发区办公场所和资金支持。目前公司在浙江和上海分别有全资子公司，在美国硅谷设有研发中心。公司的核心产品是大数据管理平台EasyDoop，并以EasyDoop为基础研发了公安大数据产品和环保大数据产品。这些产品在公安和环保行业得到成功实施，三次被中央电视台新闻联播节目播报，省部长级政府领导亲自考察，并给予了很高的评价。

杨正洪参与了多项大数据相关标准的制定工作，曾受邀参与了公安部主导的“信息安全技术-大数据平台安全管理产品安全技术要求”的国家标准制定。

目录信息

第1章 大数据时代 1
1.1 什么是大数据 1
1.2 大数据的四大特征 2
1.3 大数据的商用化 3
1.4 大数据分析 5
1.5 大数据与云计算的关系 5
1.6 大数据的国家战略 6
1.6.1 政府大数据的价值 7
1.6.2 政府大数据的应用场景 8
1.7 企业如何迎接大数据 8
1.7.1 评估大数据方案的维度 9
1.7.2 业务价值维度 10
1.7.3 数据维度 11
1.7.4 现有IT环境和成本维度 12
1.7.5 数据治理维度 13
1.8 大数据产业链分析 14
1.8.1 技术分析 14
1.8.2 角色分析 15
1.8.3 大数据运营 17
1.9 大数据交易 18
1.10 大数据之我见 19
第2章 大数据软件框架 20
2.1 Hadoop框架 20
2.1.1 HDFS（分布式文件系统） 21
2.1.2 MapReduce（分布式计算框架） 22
2.1.3 YARN（集群资源管理器） 25
2.1.4 Zookeeper（分布式协作服务） 28
2.1.5 Ambari（管理工具） 29
2.2 Spark（内存计算框架） 29
2.2.1 Scala 31
2.2.2 Spark SQL 32
2.2.3 Spark Streaming 33
2.3 实时流处理框架 34
2.4 框架的选择 35
第3章 安装与配置大数据软件 36
3.1 Hadoop发行版 36 ...
· · · · · · (收起)

用户评价

这本书的参考文献和延伸阅读列表做得非常专业和详尽。读完主体内容后，我发现自己对某些特定领域，比如分布式事务处理或者数据安全合规性，产生了更强烈的探索欲望。这本书并没有止步于提供一个“速成”方案，而是为你打开了通往更深知识海洋的门户。我发现作者引用的很多经典论文和前沿博客链接，都是业内公认的权威资料，这表明作者在编写过程中做了极其扎实的学术和行业调研。更棒的是，书的末尾还提供了一个“自我评估路径图”，建议读者在掌握了基础概念后，下一步应该去深入学习哪些具体的框架和算法，这就像一位私人导师在为你规划职业发展路径。这种对读者后续学习负责到底的态度，让这本书的价值远远超越了一本普通的教材，它更像是一张长期的学习路线图。

我对技术书籍的要求一向是实操性要强，毕竟光看不练假把式。这本书在这方面做得非常到位，它不是那种只停留在理论层面描绘宏大蓝图的书籍。章节的设置很有逻辑性，从基础的数据采集和存储讲起，每一步都有配套的代码示例或者伪代码的讲解，而且这些示例并非那种脱离实际的“Hello World”级别的演示。我尝试着跟着书里的步骤搭建了一个小型的数据处理流程，虽然过程中遇到了一些依赖库版本的小插曲，但书中对于常见错误和排查思路的探讨，简直就是我的“救命稻草”。特别值得称赞的是，作者对于不同工具的适用场景做了非常细致的对比分析，而不是盲目推崇某一个“明星技术”。比如，讲到分布式文件系统时，它会很坦诚地分析HDFS和对象存储的优缺点和适用环境，这体现了作者深厚的行业经验，避免了我们这些初学者走弯路，直接应用到最适合当前场景的方案上去。这种注重“权衡”和“选择”的教学方式，远比直接给标准答案要高明得多。

从架构设计和工程实践的角度来看，这本书的深度是超乎我想象的。它不仅仅停留在介绍单个工具如何使用的层面，而是着重讲解了如何将这些零散的技术点串联成一个健壮、可扩展的数据生态系统。书中对于数据治理、元数据管理这些相对偏向“软性”但至关重要的环节，也给予了足够的篇幅进行深入剖析。我注意到，作者在讲解流处理和批处理的切换逻辑时，非常巧妙地引入了Kappa和Lambda架构的对比分析，并清晰地阐述了在资源受限的初创团队中，如何做出务实的取舍。这部分内容对于我这种需要从零开始规划数据平台的人来说，简直是“及时雨”。它教会我的不是如何写代码，而是如何思考一个“系统”应该如何组织和运作，这才是从“工具使用者”向“系统架构师”转变的关键一步。那种对系统弹性和维护性的深度思考，让人肃然起敬。

这本书的语言风格极其的幽默和接地气，读起来完全没有技术书籍那种严肃刻板的调调。作者的文字就像是一位经验丰富的前辈在旁边慢悠悠地跟你聊天，分享他的“踩坑”经验。我尤其喜欢他时不时冒出来的那些关于“数据清洗”的“血泪史”的轶事，比如某个项目因为一个缺失值导致整个报表全错，这些故事虽然听起来有点夸张，但真实地反映了数据工作中的痛点。这种亲和力极大地降低了阅读的心理门槛，让我感觉自己不是在攻克一个技术难题，而是在听一个引人入胜的故事会。这种叙事方式不仅让学习过程变得轻松愉快，更重要的是，它潜移默化地培养了一种正确的数据素养——那就是对数据质量的敬畏心。很多理论书只会告诉你“数据是资产”，但这本书告诉你“脏数据比没有数据更危险”，这种警示效果是极其深刻的。

这本书的排版和装帧实在让人眼前一亮，拿到手里沉甸甸的，封面的设计也很有现代感，那种深邃的蓝色调搭配着简洁的线条，一下子就抓住了我的注意力。我本来对技术类的书籍有点敬而远之，总觉得会是枯燥乏味的文字堆砌，但这本书的开篇导读部分就非常引人入胜，作者用非常生动的比喻解释了“大数据”这个听起来高深莫测的概念，完全没有那种高高在上的说教感。我记得有一段讲到数据像河流一样奔涌不息，而我们要做的是建造水坝和水渠来引导和利用它，这个比喻真的太形象了。而且，书中对早期的一些数据处理的历史脉络梳理得非常清晰，让我对整个技术发展的背景有了更宏观的认识，而不是只关注最新的工具。作者似乎非常懂得如何引导一个新手，总是在关键概念出现时，附带一些历史的佐证或者现实生活中的小案例，让知识点“长”在了我的记忆里，而不是干巴巴地被“塞”进去。看到后面章节的配图，那些流程图和架构图的绘制功力也是一流的，清晰到几乎不需要文字解释就能理解其逻辑关系，对于我这种视觉学习者来说，简直是福音。

为啥2月迟迟没有读新书的原因就是，我一直在读这本书。第一次随便读了一遍发现读完和没读一样就踏踏实实记笔记又读了一遍，对于我这种有点编程基础的大数据小白来说非常实用了。接下来的时间学习些其他来源的知识点，2月先把书本放一放，3月见！

还不错的一本技术入门书。适合我这种有一定编程经验，但是没有大数据开发经验的工程师

还不错的一本技术入门书。适合我这种有一定编程经验，但是没有大数据开发经验的工程师

为啥2月迟迟没有读新书的原因就是，我一直在读这本书。第一次随便读了一遍发现读完和没读一样就踏踏实实记笔记又读了一遍，对于我这种有点编程基础的大数据小白来说非常实用了。接下来的时间学习些其他来源的知识点，2月先把书本放一放，3月见！

还不错的一本技术入门书。适合我这种有一定编程经验，但是没有大数据开发经验的工程师