Hadoop安全

出版者:人民邮电出版社

作者:[美] Ben Spivey

页数:256

译者:赵 双

出版时间:2017-10

价格:79.00元

装帧:平装

isbn号码:9787115467713

具体描述

本书阐述了Hadoop从早期开放的消费互联网时代到现在作为敏感数据可信平台的演变历程，介绍了包括身份验证、加密、密钥管理和商业实践在内的诸多主题，并在实际环境下加以讨论。第1章是介绍性内容，随后分为四大部分：第一部分是安全架构，第二部分是验证、授权和安全审计，第三部分是数据安全，第四部分是归纳总结。最后介绍了几个使用案例，融合了书中诸多概念。

作者简介

Ben Spivey

目前是Cloudera的一名解决方案架构师，负责为客户在Hadoop部署方面提供咨询。Ben曾在多家世界500强企业工作，涉及金融服务、零售、医疗保健等多个行业。他的专长在于对客户的Hadoop集群进行规划、安装、配置以及安全保护。

在Cloudera之前，Ben与某个国防承包商一起为美国国家安全局（NSA）工作。在此期间，Ben的工作之一就是建立一系列应用，这些应用被集成到企业安全基础设施中以保护敏感信息。

Joey Echeverria

是Rocana的一位软件工程师，其工作是在Apache Hadoop平台建立下一代IT运行分析系统。Joey还是一位Kite SDK贡献者，Kite SDK是一个Apache许可的Hadoop生态系统数据API。Joey之前是Cloudera的软件工程师，在Cloudera期间，他为Apache Flume、Apache Sqoop、Apache Hadoop、Apache HBase等众多ASF项目做出了贡献。

目录信息

序　　xi
前言　　xii
第1章　引言　　1
1.1　安全概览　　1
1.1.1　机密性　　2
1.1.2　完整性　　2
1.1.3　可用性　　2
1.1.4　验证、授权和审计　　3
1.2　Hadoop 安全：简史　　5
1.3　Hadoop 组件和生态系统　　5
1.3.1　Apache HDFS　　6
1.3.2　Apache YARN　　7
1.3.3　Apache MapReduce　　8
1.3.4　Apache Hive　　9
1.3.5　Cloudera Impala　　9
1.3.6　Apache Sentry　　10
1.3.7　Apache　HBase　　11
1.3.8　Apache Accumulo　　11
1.3.9　Apache Solr　　13
1.3.10　Apache Oozie　　13
1.3.11　Apache ZooKeeper　　13
1.3.12　Apache Flume　　13
1.3.13　Apache Sqoop　　14
1.3.14　Cloudera　Hue　　14
1.4　小结　　14
第一部分　安全架构
第2章　保护分布式系统　　16
2.1　威胁种类　　17
2.1.1　非授权访问／伪装　　17
2.1.2　内在威胁　　17
2.1.3　拒绝服务　　18
2.1.4　数据威胁　　18
2.2　威胁和风险评估　　18
2.2.1　用户评估　　19
2.2.2　环境评估　　19
2.3　漏洞　　19
2.4　深度防御　　20
2.5　小结　　21
第3章　系统架构　　22
3.1　运行环境　　22
3.2　网络安全　　23
3.2.1　网络划分　　23
3.2.2　网络防火墙　　24
3.2.3　入侵检测和防御　　25
3.3　Hadoop 角色和隔离策略　　27
3.3.1　主节点　　28
3.3.2　工作节点　　29
3.3.3　管理节点　　29
3.3.4　边界节点　　30
3.4　操作系统安全　　31
3.4.1　远程访问控制　　31
3.4.2　主机防火墙　　31
3.4.3　SELinux　　33
3.5　小结　　34
第4章　Kerberos　　35
4.1　为什么是Kerberos　　35
4.2　Kerberos 概览　　36
4.3　Kerberos 工作流：一个简单示例　　37
4.4　Kerberos 信任　　38
4.5　MIT Kerberos　　39
4.5.1　服务端配置　　41
4.5.2　客户端配置　　44
4.6　小结　　46
第二部分　验证、授权和审计
第5章　身份和验证　　48
5.1　身份　　48
5.1.1　将Kerberos 主体映射为用户名　　49
5.1.2　Hadoop 用户到组的映射　　50
5.1.3　Hadoop 用户配置　　54
5.2　身份验证　　54
5.2.1　Kerberos　　55
5.2.2　用户名和密码验证　　56
5.2.3　令牌　　56
5.2.4　用户模拟　　59
5.2.5　配置　　60
5.3　小结　　70
第6章　授权　　71
6.1　HDFS 授权　　71
HDFS 扩展ACL　　72
6.2　服务级授权　　74
6.3　MapReduce 和YARN 的授权　　85
6.3.1　MapReduce（MR1）　　86
6.3.2　YARN　(MR2)　　87
6.6　HBase 和Accumulo 的授权　　95
6.6.1　系统、命名空间和表级授权　　95
6.6.2　列级别和单元级别授权　　99
6.7　小结　　99
第7章　Apache Sentry（孵化中）　　100
7.1　Sentry 概念　　100
7.2　Sentry 服务　　102
7.3　Hive 授权　　105
7.4　Impala 授权　　110
7.5　Solr 授权　　112
7.6　Sentry 特权模型　　113
7.6.1　SQL 特权模型　　114
7.6.2　Solr 特权模型　　116
7.7　Sentry 策略管理　　118
7.7.1　SQL 命令　　118
7.7.2　SQL 策略文件　　121
7.7.3　Solr 策略文件　　123
7.7.4　策略文件的验证和校验　　124
7.7.5　从策略文件迁移　　126
7.8　小结　　127
第8章　审计　　128
8.1　HDFS 审计日志　　129
8.2　MapReduce 审计日志　　130
8.3　YARN 审计日志　　132
8.4　Hive 审计日志　　134
8.5　Cloudera　Impala 审计日志　　134
8.6　HBase 审计日志　　135
8.7　Accumulo 审计日志　　137
8.8　Sentry 审计日志　　139
8.9　日志聚合　　140
8.10　小结　　141
第三部分　数据安全
第9章　数据保护　　144
9.1　加密算法　　144
9.2　静态数据加密　　145
9.2.1　加密和密钥管理　　146
9.2.2　HDFS 静态数据加密　　146
9.2.3　MapReduce2 中间数据加密　　151
9.2.4　Impala 磁盘溢出加密　　152
9.2.5　全盘加密　　152
9.2.6　文件系统加密　　154
9.2.7　Hadoop 中重要数据的安全考虑　　155
9.3　动态数据加密　　156
9.3.1　传输层安全　　156
9.3.2　Hadoop 动态数据加密　　157
9.4　数据销毁和删除　　162
9.5　小结　　163
第10章　数据导入安全　　164
10.1　导入数据的完整性　　165
10.2　数据导入的机密性　　166
10.2.1　Flume 加密　　167
10.2.2　Sqoop 加密　　173
10.3　导入工作流　　178
10.4　企业架构　　179
10.5　小结　　180
第11章　数据提取和客户端访问安全　　181
11.1　Hadoop 命令行接口　　182
11.2　保护应用安全　　183
11.3　HBase　　184
11.3.1　HBase shell　　184
11.3.2　HBase REST 网关　　186
11.3.3　HBase Thrift 网关　　189
11.4　Accumulo　　190
11.4.1　Accumulo shell　　190
11.4.2　Accumulo 代理服务　　192
11.5　Oozie　　192
11.6　Sqoop　　194
11.7　SQL 访问　　195
11.7.1　Impala　　195
11.7.2　Hive　　200
11.8　WebHDFS/HttpFS　　208
11.9　小结　　209
第12章　Cloudera Hue　　210
12.1　Hue HTTPS　　211
12.2　Hue 身份验证　　212
12.2.1　SPNEGO 后端　　212
12.2.2　SAML 后端　　213
12.2.3　LDAP 后端　　215
12.3　Hue 授权　　218
12.4　Hue SSL 客户端配置　　219
12.5　小结　　219
第四部分　综合应用
第13章　案例分析　　222
13.1　案例分析：Hadoop 数据仓库　　222
13.1.1　环境搭建　　223
13.1.2　用户体验　　226
13.1.3　小结　　229
13.2　案例分析：交互式HBase　Web 应用　　230
13.2.1　设计与架构　　230
13.2.2　安全需求　　231
13.2.3　集群配置　　232
13.2.4　实现中的注意事项　　236
13.2.5　小结　　237
后记　　238
关于作者　　240
关于封面　　240
· · · · · · (收起)

用户评价

我最近在探索Hadoop平台的安全加固，于是找到了《Hadoop安全》这本书。这本书的内容质量和深度都超出了我的预期。书中对于Hadoop安全模型的设计理念和核心组件的安全性做了非常详尽的阐述。特别是关于Kerberos的身份认证机制，它不仅仅是简单地介绍如何配置，而是深入分析了Kerberos的内部工作原理，以及它在Hadoop集群中的作用和局限性。这让我对Hadoop的安全认证有了更全面的理解。书中关于HDFS的安全特性，比如NameNode和DataNode的安全加固，以及ACLs的使用，都给出了非常实用的指导。我特别欣赏书中对Hadoop安全策略的管理和审计的章节，它详细介绍了如何通过Apache Ranger来实现统一的安全策略管理，并且能够对数据访问进行详细的审计。这对于我们进行数据安全合规性检查非常重要。此外，书中对数据加密技术在Hadoop中的应用也进行了深入的探讨，包括静态数据加密和动态数据加密，以及如何在MapReduce作业中对敏感数据进行加密。这为我们处理敏感数据提供了可靠的安全保障。总而言之，《Hadoop安全》这本书是一部内容丰富、技术扎实、实践性强的著作，强烈推荐给所有对Hadoop安全感兴趣的技术人员。

这是一本真正将Hadoop生态系统中的安全挑战剖析得淋漓尽致的书籍，从基础的身份认证、权限控制，到更深层次的数据加密、审计，再到集群整体的安全防护策略，这本书都进行了详尽的阐述。作为一名一直致力于大数据安全实践的开发者，我深感Hadoop在安全性方面确实存在不少棘手的问题，尤其是在多租户、敏感数据处理等场景下，稍有不慎就可能酿成大祸。这本书恰恰填补了我在理解和解决这些痛点方面的知识空白。它不仅列举了Hadoop组件（如HDFS, MapReduce, YARN, Hive, HBase等）在安全方面可能存在的风险点，更重要的是，它提供了切实可行的解决方案和最佳实践。书中对Kerberos在Hadoop中的集成和配置做了深入的讲解，这对于实现Hadoop集群的身份认证至关重要，书中提供的步骤和注意事项，对于初次接触Kerberos的读者来说，简直是救星。此外，对Ranger和Sentry等授权框架的介绍，也让我对精细化数据访问控制有了更清晰的认识，能够根据不同的用户和角色，设定详细的访问权限，有效防止数据泄露。在数据加密方面，书籍不仅涵盖了HDFS的透明加密，还深入探讨了基于TLS/SSL的数据传输加密，以及HBase的列级别加密等更复杂的场景。这些内容对于处理高度敏感数据的企业来说，具有极高的参考价值。书中关于安全审计的部分，也让我明白了如何通过日志分析来追踪和发现潜在的安全威胁，这对于事后追溯和安全加固提供了重要的依据。总而言之，这是一本理论与实践相结合的优秀著作，对于任何需要在Hadoop环境中构建健壮安全防护体系的技术人员来说，都绝对是不可或缺的参考资料。

《Hadoop安全》这本书无疑是我近期阅读过的最令人振奋的技术书籍之一。它以一种非常系统和全面的方式，深入剖析了Hadoop生态系统中存在的各种安全挑战，并提供了一套行之有效的解决方案。书中对Kerberos在Hadoop中的部署和配置进行了详尽的讲解，这对于实现Hadoop集群的身份认证是至关重要的。作者还深入探讨了如何利用Kerberos来保护HDFS、MapReduce、YARN等核心组件，并提供了大量的实践指导和注意事项。我特别喜欢书中关于Apache Ranger的应用讲解，它详细介绍了如何利用Ranger来集中管理HDFS、Hive、HBase等服务的访问策略，并能够实现细粒度的授权，例如根据用户、角色、数据库、表、列等维度来控制数据访问。这一点对于金融、医疗等对数据安全要求极高的行业来说，是必不可少的。此外，书中对数据加密和审计的章节也让我受益匪浅。它不仅涵盖了静态数据的加密，还深入探讨了传输层加密（TLS/SSL）以及如何对敏感数据进行加密处理，并提供了详细的审计机制，帮助我们追踪和发现潜在的安全威胁。这本书的深度和广度都达到了行业领先水平，对于任何想要在Hadoop环境中构建安全防护体系的技术人员来说，都是一本不可或缺的参考书。

我最近阅读了《Hadoop安全》这本书，这本书的价值体现在其内容的深度和实践指导性上。作者不仅仅是罗列了Hadoop的安全概念，而是深入到了各个组件的实现细节和最佳实践。例如，在讲解HDFS安全时，书中详细介绍了NameNode和DataNode的安全加固措施，包括如何限制RPC接口的访问，如何进行NameNode的高可用性配置以防止单点故障带来的安全隐患。对于Kerberos的讲解，更是细致入微，从KDC的安装配置到Principals的创建，再到Hadoop服务的Principals配置，都提供了非常详尽的操作步骤和注意事项。我特别欣赏书中关于Apache Sentry在Hadoop生态系统中的应用讲解，它详细介绍了如何利用Sentry来实现细粒度的访问控制，并且能够与Hive、Impala等组件无缝集成。这对于我们这类需要严格控制数据访问的行业来说，简直是福音。另外，书中关于数据加密和安全审计的章节，也为我提供了很多实用的方法，例如如何收集Hadoop集群的各种安全日志，以及如何利用日志分析工具来检测异常行为和潜在的安全威胁。总而言之，《Hadoop安全》这本书是一部集理论与实践于一体的优秀技术书籍，强烈推荐给所有关注Hadoop安全的技术从业者。

我近期有幸拜读了《Hadoop安全》这本专著，这本书给我的最大感受是其内容的深度和广度都达到了令人惊叹的水平。它并非仅仅停留在表面概念的介绍，而是深入到Hadoop各个组件的安全机制和实现细节。例如，在讲解HDFS安全时，作者不仅仅是提到了ACLs（访问控制列表），更是详细阐述了HDFS NameNode的安全加固措施，包括如何限制RPC接口的访问，如何进行NameNode的高可用性配置以防止单点故障带来的安全隐患。对于MapReduce和YARN的安全，书籍也给出了非常细致的分析，尤其是在资源隔离和作业提交的安全方面，提供了不少实用的建议。我特别欣赏书中关于用户和组管理的部分，它清晰地说明了如何与LDAP/Active Directory等外部身份源集成，从而实现统一的用户身份管理，这在大型企业环境中尤为重要。对于那些曾经为Hadoop集群的安全感到头疼的读者而言，这本书就像一本“武功秘籍”，能够指引你走出迷茫。书中对HTTPS在Hadoop生态系统中的应用也做了充分的展示，包括如何配置ZooKeeper、HiveServer2、HBase Master等服务的SSL，确保数据在传输过程中不被窃听或篡改。此外，书中对数据防篡改和日志审计的详尽描述，更是为构建一个可信赖的大数据平台奠定了坚实的基础。这本书的语言风格非常专业且严谨，阅读过程中，我感觉自己仿佛置身于一个经验丰富的大数据安全专家的指导课堂。

我必须说，《Hadoop安全》这本书为我打开了一扇全新的大门，让我对Hadoop生态系统的安全性有了更系统、更深刻的认识。在阅读之前，我对Hadoop的安全模型停留在比较基础的认识上，认为配置好Kerberos就万事大吉了。然而，这本书彻底颠覆了我的认知。它详细地介绍了Hadoop内部的安全架构，以及如何在不同的组件之间构建多层次的安全防护。书中对Hadoop安全策略的讲解，尤其是在权限管理方面，提供了非常详细的指导。例如，它介绍了如何利用Apache Ranger来集中管理HDFS、Hive、HBase等服务的访问策略，并且能够实现细粒度的授权，比如允许某个用户只读某个表中的特定列。这一点对于很多对数据敏感度要求极高的企业来说，简直是福音。另外，关于数据加密的部分，书中不仅谈到了静态数据的加密，还详细阐述了如何在MapReduce作业中对敏感数据进行加密处理，以及如何安全地管理加密密钥。这让我意识到，数据安全是一个贯穿数据生命周期各个阶段的系统工程。书中对网络安全隔离的讨论，比如如何通过防火墙、VPN等技术来保护Hadoop集群的网络边界，也给了我不少启发。总而言之，这本书的内容非常扎实，涵盖了Hadoop安全领域的大部分关键技术和实践，对于任何想要深入了解Hadoop安全、并将其应用到实际工作中的技术人员来说，都是一本不可多得的宝藏。

我最近入手了《Hadoop安全》这本书，作为一个长期在金融行业从事数据分析工作的人，数据安全和合规性一直是我工作的重中之重。Hadoop作为我们处理海量数据的核心平台，其安全性更是容不得半点疏忽。这本书的出现，对我来说无疑是雪中送炭。它以一种极其系统的方式，梳理了Hadoop在安全性方面面临的各种挑战，并提供了前瞻性的解决方案。我尤其对书中关于数据防泄露（DLP）的章节印象深刻，书中详细介绍了如何在Hadoop集群中实施各种策略来防止敏感数据的非法访问和外泄，这对于满足金融行业的严格合规要求至关重要。书中的安全审计部分，也为我提供了很多实用的方法，例如如何收集Hadoop集群的各种安全日志，以及如何利用日志分析工具来检测异常行为和潜在的安全威胁。这一点对于我们进行事后追溯和风险评估非常有帮助。此外，书中对Kerberos的高级配置和故障排除的讲解，也让我受益匪浅。我之前在配置Kerberos时遇到过不少问题，但这本书提供的详细步骤和常见问题解答，帮助我快速解决了这些难题。总而言之，《Hadoop安全》这本书内容丰富，逻辑清晰，条理分明，是一本集理论与实践于一体的优秀技术书籍，强烈推荐给所有关注Hadoop安全的技术从业者。

我最近购买了《Hadoop安全》这本书，作为一名在大数据领域深耕多年的技术人员，我一直非常关注Hadoop的安全性问题。这本书的内容质量和深度都达到了令人惊叹的水平。书中对Hadoop各个组件的安全机制进行了详尽的阐述，从身份认证、权限控制到数据加密、审计，无所不包。我尤其对书中关于HDFS安全性的讲解印象深刻，它不仅介绍了NameNode和DataNode的安全加固措施，还详细阐述了如何利用ACLs进行精细化的访问控制。对于经常需要处理敏感数据的我来说，这一点尤为重要。此外，书中对Kerberos的深入讲解，包括其工作原理、部署配置和故障排除，都为我解决了许多实际工作中遇到的难题。书中还详细介绍了Apache Ranger在Hadoop生态系统中的应用，包括如何利用Ranger来统一管理HDFS、Hive、HBase等服务的访问策略，并实现细粒度的授权。这大大简化了我们安全策略的管理。在数据加密方面，书中也给出了非常全面的介绍，包括静态数据加密、传输层加密以及如何对敏感数据进行加密处理。总而言之，《Hadoop安全》这本书是一本内容丰富、技术扎实、实践性强的优秀著作，强烈推荐给所有对Hadoop安全感兴趣的技术人员。

《Hadoop安全》这本书的阅读体验让我惊喜连连，作者的专业知识和实践经验在这本书中得到了充分的体现。它不仅仅是一本技术手册，更像是一部详尽的安全指导手册，帮助读者一步步构建起一个坚不可摧的Hadoop安全防线。书中关于Apache Sentry在Hadoop生态系统中的应用，让我对如何实现精细化的数据访问控制有了更深入的理解。它能够与Hive、Impala等组件无缝集成，为不同用户和用户组提供细粒度的表、列甚至行级别的数据访问权限。这对于我们这类需要严格控制数据访问的行业来说，简直是革命性的。另外，书中对Hadoop集群的漏洞管理和安全加固措施的阐述，也给了我很多启发。它不仅列举了常见的Hadoop安全漏洞，还提供了相应的防范和修复建议，帮助我们主动规避风险。在数据加密方面，书中对HDFS透明加密、TLS/SSL传输加密以及HBase列加密等技术的讲解，都非常透彻，并配以详细的配置示例，让读者能够快速掌握这些关键技术。我特别欣赏书中关于安全态势感知和事件响应的章节，它教会我们如何建立一套有效的安全监控机制，并在安全事件发生时，能够迅速做出响应，将损失降到最低。这本书的每一个章节都干货满满，绝对是Hadoop安全领域的必读之作。

《Hadoop安全》这本书给了我一个全新的视角来审视Hadoop平台的安全问题。作者以一种极其严谨和专业的态度，将Hadoop生态系统中错综复杂的安全机制一一梳理清楚，并提供了切实可行的解决方案。书中对Kerberos在Hadoop中的集成和配置进行了深入的讲解，这对于实现Hadoop集群的身份认证至关重要。我尤其欣赏书中关于Apache Ranger的应用讲解，它详细介绍了如何利用Ranger来集中管理HDFS、Hive、HBase等服务的访问策略，并实现细粒度的授权，例如允许某个用户只读某个表中的特定列。这一点对于我们处理高度敏感数据的企业来说，具有极高的参考价值。此外，书中对数据加密和审计的章节也让我受益匪浅。它不仅涵盖了静态数据的加密，还深入探讨了传输层加密（TLS/SSL）以及如何对敏感数据进行加密处理，并提供了详细的审计机制，帮助我们追踪和发现潜在的安全威胁。这本书的深度和广度都达到了行业领先水平，对于任何想要在Hadoop环境中构建安全防护体系的技术人员来说，都是一本不可或缺的参考书。

书买回来放了两年已经落后了，没有ranger内容

书买回来放了两年已经落后了，没有ranger内容

书买回来放了两年已经落后了，没有ranger内容

书买回来放了两年已经落后了，没有ranger内容

书买回来放了两年已经落后了，没有ranger内容