第1章 數據分析與挖掘概覽 1
1.1 什麼是數據分析和挖掘 1
1.2 數據分析與挖掘的應用領域 1
1.2.1 破壞規則的“害群之馬” 1
1.2.2 完美的動態定價營銷法 2
1.2.3 抗癌八年的喬布斯 2
1.3 數據分析與挖掘的區彆 3
1.4 數據挖掘的流程 4
1.4.1 明確目標 4
1.4.2 數據搜集 5
1.4.3 數據清洗 5
1.4.4 構建模型 6
1.4.5 模型評估 6
1.5 常用的數據分析與挖掘工具 7
1.6 篇章總結 8
第2章 從收入的預測分析開始 9
2.1 下載與安裝 9
2.1.1 Windows係統 9
2.1.2 Mac係統 11
2.1.3. Linux係統 12
2.2 基於Python的案例實戰 13
2.2.1 數據的預處理 13
2.2.2 數據的探索性分析 14
2.2.3 數據建模 17
2.3 篇章總結 25
第3章 Python入門基礎 27
3.1 數據結構及方法 27
3.1.1 列錶 27
3.1.2 元組 32
3.1.3 字典 32
3.2 控製流 35
3.2.1 if分支 35
3.2.2 for循環 36
3.2.3 while循環 38
3.3 字符串處理方法 39
3.3.1 字符串的常用方法 39
3.3.2 正則錶達式 41
3.4 自定義函數 43
3.4.1 自定義函數語法 43
3.4.2 自定義函數的幾種參數 45
3.5 一個爬蟲案例 48
3.6 篇章總結 50
第4章 Python數值計算工具—Numpy 52
4.1 數組的創建與操作 52
4.1.1 數組的創建 52
4.1.2 數組元素的獲取 53
4.1.3 數組的幾個屬性 54
4.1.4 數組的形狀處理 55
4.2 數組的基本運算符 57
4.2.1 四則運算 57
4.2.2 比較運算 59
4.2.3 廣播運算 60
4.3 常用的數學和統計函數 61
4.4 綫性代數的相關計算 63
4.5 僞隨機數的生成 66
4.6 篇章總結 69
第5章 Python數據處理工具--Pandas 70
5.1 序列與數據框的構造 70
5.1.1 構造序列 70
5.1.2 構造數據框 72
5.2 外部數據的讀取 73
5.2.1 文本文件的讀取 73
5.2.2 電子錶格的讀取 75
5.2.3 數據庫數據的讀取 76
5.3 數據類型轉換及描述統計 78
5.4 字符與日期數據的處理 81
5.5 常用的數據清洗方法 84
5.5.1 重復觀測處理 84
5.5.2 缺失值處理 85
5.5.3 異常值處理 88
5.6 數據子集的獲取 90
5.7 透視錶功能 92
5.8 錶之間的閤並與連接 94
5.9 分組聚閤操作 96
5.10 篇章總結 98
第6章 Python數據可視化 100
6.1 離散型變量的可視化 100
6.1.1 餅圖 100
6.1.2 條形圖 105
6.2 數值型變量的可視化 113
6.2.1 直方圖與核密度麯綫 113
6.2.2 箱綫圖 117
6.2.3 小提琴圖 120
6.2.4 摺綫圖 122
6.3 關係型數據的可視化 126
6.3.1 散點圖 126
6.3.2 氣泡圖 129
6.4 多個圖形的閤並 132
6.5 篇章總結 134
第7章 綫性迴歸預測模型 136
7.1 一元綫性迴歸模型 136
7.1.1 擬閤綫的求解 137
7.2 多元綫性迴歸模型 139
7.2.1 迴歸模型的參數求解 139
7.2.2 迴歸模型的預測 140
7.3 迴歸模型的假設檢驗 142
7.3.1 模型的顯著性檢驗--F檢驗 143
7.3.2 迴歸係數的顯著性檢驗--t檢驗 145
7.4 迴歸模型的診斷 146
7.4.1 正態性檢驗 147
7.4.2 多重共綫性檢驗 149
7.4.3 綫性相關性檢驗 150
7.4.4 異常值檢驗 151
7.4.5 獨立性檢驗 154
7.4.6 方差齊性檢驗 154
7.5 篇章總結 156
第8章 嶺迴歸與LASSO迴歸模型 158
8.1 嶺迴歸模型 158
8.1.1 參數求解 159
8.1.2 係數求解的幾何意義 160
8.2 嶺迴歸模型的應用 161
8.2.1 可視化方法確定λ值 161
8.2.2 交叉驗證法確定λ值 162
8.2.3 模型的預測 164
8.3 LASSO迴歸模型 165
8.3.1 參數求解 165
8.3.2 係數求解的幾何意義 166
8.4 LASSO迴歸模型的應用 167
8.4.1 可視化方法確定λ值 167
8.4.2 交叉驗證法確定λ值 169
8.4.3 模型的預測 170
8.5 篇章總結 171
第9章 Logistic迴歸分類模型 173
9.1 Logistic模型的構建 173
9.1.1 Logistic模型的參數求解 175
9.1.2 Logistic模型的參數解釋 177
9.2 分類模型的評估方法 178
9.2.1 混淆矩陣 178
9.2.2 ROC麯綫 179
9.2.3 K-S麯綫 180
9.3 Logistic迴歸模型的應用 182
9.3.1 模型的構建 182
9.3.2 模型的預測 184
9.3.3 模型的評估 184
第10章 決策樹與隨機森林 190
10.1 節點字段的選擇 191
10.1.1 信息增益 191
10.1.2 信息增益率 193
10.1.3 基尼指數 195
10.2 決策樹的剪枝 197
10.2.1 誤差降低剪枝法 198
10.2.2 悲觀剪枝法 198
10.2.3 代價復雜度剪枝法 199
10.3 隨機森林 200
10.3.1 隨機森林的思想 200
10.4 決策樹與隨機森林的應用 202
10.4.1 分類問題的解決 202
10.4.2 預測問題的解決 208
第11章 KNN模型的應用 212
11.1 KNN算法的思想 212
11.2 最佳k值的選擇 213
11.3 相似度的度量方法 213
11.3.1 歐式距離 214
11.3.2 曼哈頓距離 214
11.3.3 餘弦相似度 215
11.3.4 傑卡德相似係數 215
11.4 近鄰樣本的搜尋方法 216
11.4.1 KD樹搜尋法 217
11.4.2 球樹搜尋法 220
11.5 KNN模型的應用 221
11.5.1 分類問題的解決 222
11.5.2 預測問題的解決 226
第12章 樸素貝葉斯模型 230
12.1 樸素貝葉斯理論基礎 230
12.2 幾種貝葉斯模型 231
12.2.1 高斯貝葉斯分類器 231
12.2.2 高斯貝葉斯分類器的應用 233
12.2.3 多項式貝葉斯分類器 236
12.2.4 多項式貝葉斯分類器的應用 237
12.2.4 伯努利貝葉斯分類器 240
12.3 篇章總結 245
第13章 SVM模型的應用 247
13.1 SVM的簡介 247
13.1.1 距離公式的介紹 248
13.1.2 SVM的實現思想 249
13.2 幾種常見的SVM模型 250
13.2.1 綫性可分的SVM 250
13.2.2 一個手工計算的案例 253
13.2.3 近似綫性可分SVM 255
13.2.4 非綫性可分SVM 258
13.2.5 幾種常用的SVM核函數 260
13.2.6 SVM的迴歸預測 261
13.3 分類問題的解決 263
13.4 預測問題的解決 265
13.5 篇章總結 268
第14章 GBDT模型的應用 270
14.1 提升樹算法 270
14.1.1 AdaBoost算法的損失函數 271
14.1.2 AdaBoost算法的操作步驟 272
14.1.3 AdaBoost算法的簡單例子 273
14.1.4 AdaBoost算法的應用 275
14.2 梯度提升樹算法 280
14.2.1 GBDT算法的操作步驟 281
14.2.2 GBDT分類算法 281
14.2.3 GBDT迴歸算法 282
14.2.4 GBDT算法的應用 283
14.3 非平衡數據的處理 285
14.4 XGBoost算法 287
14.4.1 XGBoost算法的損失函數 287
14.4.2 損失函數的演變 288
14.4.3 XGBoost算法的應用 291
14.5 篇章總結 296
第15章 KMeans聚類分析 298
15.1 KMeans聚類 298
15.1.1 KMeans的思想 298
15.1.2 KMeans的原理 300
15.2 最佳k值的確定 300
15.2.1 拐點法 301
15.2.2 輪廓係數法 303
15.2.3 Gap Statistic 305
15.3 Kmeans聚類的應用 307
15.3.1 iris數據集的聚類 307
15.3.2 NBA球員數據集的聚類 310
15.4 Kmeans聚類的注意事項 314
15.5 篇章總結 314
第16章 DBSCAN與層次聚類分析 315
16.1 密度聚類簡介 315
16.1.1 密度聚類相關的幾個概念 315
16.1.2 密度聚類的步驟 317
16.2 密度聚類與KMeans的比較 318
16.3 層次聚類 322
16.3.1 簇間的距離度量 322
16.3.2 層次聚類的步驟 324
16.3.3 三種層次聚類的比較 325
16.4 密度聚類與層次聚類的應用 327
16.5 篇章總結 333
· · · · · · (收起)