目 錄
第1章 大數據和Hadoop生態係統 1
1.1 當大數據遇見Hadoop 2
1.1.1 Hadoop：直麵大數據的挑戰 3
1.1.2 商業世界中的數據科學 4
1.2 Hadoop生態係統 6
1.3 Hadoop核心組件 7
1.4 Hadoop發行版 9
1.5 使用Hadoop開發企業級應用 10
1.6 小結 14
第2章 Hadoop數據存儲 15
2.1 HDFS 15
2.1.1 HDFS架構 15
2.1.2 使用HDFS文件 19
2.1.3 Hadoop特定的文件類型 21
2.1.4 HDFS聯盟和高可用性 26
2.2 HBase 28
2.2.1 HBase架構 28
2.2.2 HBase結構設計 34
2.2.3 HBase編程 35
2.2.4 HBase新特性 42
2.3 將HDFS和HBase的組閤用於高效數據存儲 45
2.4 使用Apache Avro 45
2.5 利用HCatalog管理元數據 49
2.6 為應用程序選擇閤適的Hadoop數據組織形式 51
2.7 小結 53
第3章 使用MapReduce處理數據 55
3.1 瞭解MapReduce 55
3.1.1 MapReduce執行管道 56
3.1.2 MapReduce中的運行時協調和任務管理 59
3.2 第一個MapReduce應用程序 61
3.3 設計MapReduce實現 69
3.3.1 將MapReduce用作並行處理框架 70
3.3.2 使用MapReduce進行簡單的數據處理 71
3.3.3 使用MapReduce構建連接 72
3.3.4 構建迭代式MapReduce應用程序 77
3.3.5 是否使用MapReduce 82
3.3.6 常見的MapReduce設計陷阱 83
3.4 小結 84
第4章 自定義MapReduce執行 85
4.1 使用InputFormat控製MapReduce執行 85
4.1.1 為計算密集型應用程序實現InputFormat 87
4.1.2 實現InputFormat以控製Map的數量 93
4.1.3 實現用於多個HBase錶的InputFormat 99
4.2 使用自定義RecordReader以自己的方式讀取數據 102
4.2.1 實現基於隊列的RecordReader 102
4.2.2 為XML數據實現RecordReader 105
4.3 使用自定義輸齣格式組織輸齣數據 109
4.4 使用自定義記錄寫入器以自己的方式寫入數據 119
4.5 使用組閤器優化MapReduce執行 121
4.6 使用分區器控製Reducer執行 124
4.7 在Hadoop中使用非Java代碼 128
4.7.1 Pipes 128
4.7.2 Hadoop Streaming 128
4.7.3 使用JNI 129
4.8 小結 131
第5章 構建可靠的MapReduce應用程序 133
5.1 單元測試MapReduce應用程序 133
5.1.1 測試Mapper 136
5.1.2 測試Reducer 137
5.1.3 集成測試 138
5.2 使用Eclipse進行本地應用程序測試 139
5.3 將日誌用於Hadoop測試 141
5.4 使用作業計數器報告指標 146
5.5 MapReduce中的防禦性編程 149
5.6 小結 151
第6章 使用Oozie自動化數據處理 153
6.1 認識Oozie 154
6.2 Oozie Workflow 155
6.2.1 在Oozie Workflow中執行異步操作 159
6.2.2 Oozie的恢復能力 164
6.2.3 Oozie Workflow作業的生命周期 164
6.3 Oozie Coordinator 165
6.4 Oozie Bundle 170
6.5 用錶達式語言對Oozie進行參數化 174
6.5.1 Workflow函數 175
6.5.2 Coordinator函數 175
6.5.3 Bundle函數 175
6.5.4 其他EL函數 175
6.6 Oozie作業執行模型 176
6.7 訪問Oozie 179
6.8 Oozie SLA 180
6.9 小結 185
第7章 使用Oozie 187
7.1 使用探測包驗證位置相關信息的正確性 187
7.2 設計基於探測包的地點正確性驗證 188
7.3 設計Oozie Workflow 190
7.4 實現Oozie Workflow應用程序 193
7.4.1 實現數據準備Workflow 193
7.4.2 實現考勤指數和聚類探測包串Workflow 201
7.5 實現 Workflow行為 203
7.5.1 發布來自java動作的執行上下文 204
7.5.2 在Oozie Workflow中使用MapReduce作業 204
7.6 實現Oozie Coordinator應用程序 207
7.7 實現Oozie Bundle應用程序 212
7.8 部署、測試和執行Oozie應用程序 213
7.8.1 部署Oozie應用程序 213
7.8.2 使用Oozie CLI執行Oozie應用程序 215
7.8.3 嚮Oozie作業傳遞參數 218
7.9 使用Oozie控製颱獲取Oozie應用程序信息 221
7.9.1 瞭解Oozie控製颱界麵 221
7.9.2 獲取 Coordinator作業信息 225
7.10 小結 227
第8章 高級Oozie特性 229
8.1 構建自定義Oozie Workflow動作 230
8.1.1 實現自定義Oozie Workflow動作 230
8.1.2 部署Oozie自定義Workflow動作 235
8.2 嚮Oozie Workflow添加動態執行 237
8.2.1 總體實現方法 237
8.2.2 一個機器學習模型、參數和算法 240
8.2.3 為迭代過程定義Workflow 241
8.2.4 動態Workflow生成 244
8.3 使用Oozie Java API 247
8.4 在Oozie應用中使用uber jar包 251
8.5 數據吸收傳送器 256
8.6 小結 263
第9章 實時Hadoop 265
9.1 現實世界中的實時應用 266
9.2 使用HBase來實現實時應用 266
9.2.1 將HBase用作圖片管理係統 268
9.2.2 將HBase用作Lucene後端 275
9.3 使用專門的實時Hadoop查詢係統 295
9.3.1 Apache Drill 296
9.3.2 Impala 298
9.3.3 實時查詢和MapReduce的對比 299
9.4 使用基於Hadoop的事件處理係統 300
9.4.1 HFlame 301
9.4.2 Storm 302
9.4.3 事件處理和MapReduce的對比 305
9.5 小結 305
第10章 Hadoop安全 307
10.1 簡要的曆史：理解Hadoop安全的挑戰 308
10.2 認證 309
10.2.1 Kerberos認證 310
10.2.2 委派安全憑據 318
10.3 授權 323
10.3.1 HDFS文件訪問權限 323
10.3.2 服務級授權 327
10.3.3 作業授權 329
10.4 Oozie認證和授權 329
10.5 網絡加密 331
10.6 使用Rhino項目增強安全性 332
10.6.1 HDFS磁盤級加密 333
10.6.2 基於令牌的認證和統一的授權框架 333
10.6.3 HBase單元格級安全 334
10.7 將所有內容整閤起來——保證Hadoop安全的最佳實踐 334
10.7.1 認證 335
10.7.2 授權 335
10.7.3 網絡加密 336
10.7.4 敬請關注Hadoop的增強功能 336
10.8 小結 336
第11章 在AWS上運行Hadoop應用 337
11.1 初識AWS 338
11.2 在AWS上運行Hadoop的可選項 339
11.2.1 使用EC2實例的自定義安裝 339
11.2.2 彈性MapReduce 339
11.2.3 做齣選擇前的額外考慮 339
11.3 理解EMR-Hadoop的關係 340
11.3.1 EMR架構 341
11.3.2 使用S3存儲 343
11.3.3 最大化EMR的使用 343
11.3.4 利用CloudWatch和其他AWS組件 345
11.3.5 訪問和使用EMR 346
11.4 使用AWS S3 351
11.4.1 理解桶的使用 352
11.4.2 使用控製颱瀏覽內容 354
11.4.3 在S3中編程訪問文件 355
11.4.4 使用MapReduce上傳多個文件到S3 365
11.5 自動化EMR作業流創建和作業執行 367
11.6 管理EMR中的作業執行 372
11.6.1 在EMR集群上使用Oozie 372
11.6.2 AWS 簡單工作流 374
11.6.3 AWS數據管道 375
11.7 小結 376
第12章 為Hadoop實現構建企業級安全解決方案 377
12.1 企業級應用的安全顧慮 378
12.1.1 認證 380
12.1.2 授權 380
12.1.3 保密性 380
12.1.4 完整性 381
12.1.5 審計 381
12.2 Hadoop安全沒有為企業級應用原生地提供哪些機製 381
12.2.1 麵嚮數據的訪問控製 382
12.2.2 差分隱私 382
12.2.3 加密靜止的數據 383
12.2.4 企業級安全集成 384
12.3 保證使用Hadoop的企業級應用安全的方法 384
12.3.1 使用Accumulo進行訪問控製保護 385
12.3.2 加密靜止數據 394
12.3.3 網絡隔離和分隔方案 395
12.4 小結 397
第3章 Hadoop的未來 399
13.1 使用DSL簡化MapReduce編程 400
13.1.1 什麼是DSL 400
13.1.2 Hadoop的DSL 401
13.2 更快、更可擴展的數據處理 412
13.2.1 Apache YARN 412
13.2.2 Tez 414
13.3 安全性的改進 415
13.4 正在齣現的趨勢 415
13.5 小結 416
附錄 有用的閱讀 417
· · · · · · (收起)