第1章 　Spark與大數據　　1
1.1 　大數據的發展及現狀　　1
1.1.1 　大數據時代所麵臨的問題　　1
1.1.2 　榖歌的大數據解決方案　　2
1.1.3 　Hadoop生態係統　　3
1.2 　Spark應時而生　　4
1.2.1 　Spark的起源　　4
1.2.2 　Spark的特點　　5
1.2.3 　Spark的未來發展　　6
第2章 　Spark基礎　　8
2.1 　Spark本地單機模式體驗　　8
2.1.1 　安裝虛擬機　　8
2.1.2 　安裝JDK　　19
2.1.3 　下載Spark預編譯包　　21
2.1.4 　本地體驗Spark　　22
2.2 　高可用Spark分布式集群部署　　25
2.2.1 　集群總覽　　26
2.2.2 　集群機器的型號選擇　　28
2.2.3 　初始化集群機器環境　　29
2.2.4 　部署ZooKeeper集群　　33
2.2.5 　編譯Spark　　35
2.2.6 　部署Spark Standalone集群　　37
2.2.7 　高可用Hadoop集群　　40
2.2.8 　讓Spark運行在YARN上　　40
2.2.9 　一鍵部署高可用Hadoop +Spark集群　　42
2.3 　Spark編程指南　　43
2.3.1 　交互式編程　　43
2.3.2 　RDD創建　　44
2.3.3 　RDD操作　　47
2.3.4 　使用其他語言開發Spark程序　　54
2.4 　打包和提交　　54
2.4.1 　編譯、鏈接、打包　　54
2.4.2 　提交　　56
第3章 　Spark工作機製　　58
3.1 　調度管理　　58
3.1.1 　集群概述及名詞解釋　　58
3.1.2 　Spark程序之間的調度　　60
3.1.3 　Spark程序內部的調度　　63
3.2 　內存管理　　65
3.2.1 　RDD持久化　　65
3.2.2 　共享變量　　66
3.3 　容錯機製　　67
3.3.1 　容錯體係概述　　67
3.3.2 　Master節點失效　　68
3.3.3 　Slave節點失效　　69
3.4 　監控管理　　69
3.4.1 　Web界麵　　69
3.4.2 　REST API　　72
3.4.3 　Metrics指標體係　　73
3.4.4 　其他監控工具　　73
3.5 　Spark程序配置管理　　73
3.5.1 　Spark程序配置加載過程　　74
3.5.2 　環境變量配置　　74
3.5.3 　Spark屬性項配置　　74
3.5.4 　查看當前的配置　　76
3.5.5 　配置Spark日誌　　76
第4章 　Spark內核講解　　77
4.1 　Spark核心數據結構RDD　　77
4.1.1 　RDD的定義　　78
4.1.2 　RDD的Transformation　　80
4.1.3 　RDD的Action　　82
4.1.4 　Shuffle　　83
4.2 　SparkContext　　84
4.2.1 　SparkConf配置　　84
4.2.2 　初始化過程　　85
4.2.3 　其他功能接口　　87
4.3 　DAG調度　　87
4.3.1 　DAGScheduler　　87
4.3.2 　TaskScheduler　　90
第5章 　Spark SQL與數據倉庫　　92
5.1 　Spark SQL基礎　　93
5.1.1 　分布式SQL引擎　　93
5.1.2 　支持的SQL語法　　97
5.1.3 　支持的數據類型　　98
5.1.4 　DataFrame　　99
5.1.5 　DataFrame數據源　　103
5.1.6 　性能調優　　104
5.2 　Spark SQL原理和運行機製　　104
5.2.1 　Spark SQL整體架構　　105
5.2.2 　Catalyst執行優化器　　105
5.3 　應用場景：基於淘寶數據建立電商數據倉庫　　110
5.3.1 　電商數據倉庫場景　　111
5.3.2 　數據準備和錶設計　　111
5.3.3 　用Spark SQL來完成日常運營數據分析　　115
5.3.4 　Spark SQL在大規模數據下的性能錶現　　120
第6章 　Spark流式計算　　122
6.1 　Spark Streaming基礎知識　　123
6.1.1 　入門簡單示例　　123
6.1.2 　基本概念　　124
6.1.3 　高級操作　　129
6.2 　深入理解Spark Streaming　　132
6.2.1 　DStream的兩類操作　　132
6.2.2 　容錯處理　　134
6.2.3 　性能調優　　136
6.2.4 　與Storm的對比　　137
6.3 　應用場景：一個類似百度統計的流式實時係統　　139
6.3.1 　Web log實時統計場景　　139
6.3.2 　日誌實時采集　　140
6.3.3 　流式分析係統實現　　140
第7章 　Spark圖計算　　149
7.1 　什麼是圖計算　　149
7.1.1 　圖的基本概念　　149
7.1.2 　圖計算的應用　　150
7.2 　Spark GraphX簡介　　151
7.2.1 　GraphX實現　　151
7.2.2 　GraphX常用API介紹　　152
7.3 　應用場景：基於新浪微博數據的社交網絡分析　　153
7.3.1 　社交網絡分析的主要應用　　153
7.3.2 　社區發現算法簡介　　154
7.3.3 　用GraphX實現Louvain算法　　156
7.3.4 　小試牛刀：誰是你的閨蜜　　162
7.3.5 　真實的場景：新浪微博關係
分析　　164
第8章 　Spark MLlib　　169
8.1 　機器學習簡介　　169
8.1.1 　什麼是機器學習　　169
8.1.2 　機器學習示例　　171
8.1.3 　機器學習的基本方法　　172
8.1.4 　機器學習的常見技巧　　173
8.1.5 　機器學習參考資料　　174
8.2 　MLlib庫簡介　　174
8.2.1 　基礎數據類型　　174
8.2.2 　主要的庫　　175
8.2.3 　附帶的示例程序　　176
8.3 　應用場景：搜索廣告點擊率預估係統　　178
8.3.1 　應用場景　　178
8.3.2 　邏輯迴歸　　179
8.3.3 　學習算法　　181
8.3.4 　模型評估　　184
8.3.5 　數據準備　　186
8.3.6 　模型訓練　　187
8.3.7 　模型調優　　195
附錄 　Scala語言參考　　197
· · · · · · (收起)