1 機器學習入門 ....................................................................................................... 1
1.1 什麼是機器學習 ........................................................................................... 1
1.1.1 人類學習 VS 機器學習.................................................................. 1
1.1.2 機器學習三要素 ............................................................................... 3
1.2 什麼問題適閤用機器學習方法解決 ........................................................... 5
1.2.1 必備條件 .......................................................................................... 5
1.2.2 機器學習可解決的問題 ................................................................... 7
1.3 機器學習的過程 ........................................................................................... 9
1.3.1 機器學習的三個階段 ....................................................................... 9
1.3.2 模型的訓練及選擇 ......................................................................... 11
1.4 機器學習的類型 ......................................................................................... 12
1.4.1 有監督學習..................................................................................... 13
1.4.2 無監督學習..................................................................................... 14
1.4.3 半監督學習..................................................................................... 14
1.4.4 強化學習 ........................................................................................ 15
1.5 産品經理的經驗之談 ................................................................................. 16
2 數據的準備工作 ................................................................................................. 18
2.1 數據預處理 ................................................................................................. 18
2.1.1 為什麼要做數據預處理 ................................................................. 18
2.1.2 數據清洗 ........................................................................................ 20
2.1.3 數據集成 ........................................................................................ 23
2.1.4 數據變換 ........................................................................................ 24
2.1.5 數據歸約 ........................................................................................ 26
2.2 特徵工程 ..................................................................................................... 27
2.2.1 如何進行特徵工程 ......................................................................... 27
2.2.2 特徵構建 ........................................................................................ 27
2.2.3 特徵提取 ........................................................................................ 28
2.2.4 特徵選擇 ........................................................................................ 31
2.3 産品經理的經驗之談 ................................................................................. 34
3 瞭解你手上的數據 ............................................................................................ 36
3.1 你真的瞭解數據嗎 ..................................................................................... 36
3.1.1 機器學習的數據統計思維 ............................................................. 36
3.1.2 數據集 ............................................................................................ 37
3.1.3 數據維度 ........................................................................................ 41
3.1.4 數據類型 ........................................................................................ 42
3.2 讓數據更直觀的方法 ................................................................................. 43
3.2.1 直方圖 ............................................................................................ 43
3.2.2 散點圖 ............................................................................................ 44
3.3 常用的評價模型效果指標 ......................................................................... 45
3.3.1 混淆矩陣 ........................................................................................ 45
3.3.2 準確率 ............................................................................................ 46
3.3.3 精確率與召迴率 ............................................................................. 47
3.3.4 F 值 ................................................................................................. 49
3.3.5 ROC 麯綫 ....................................................................................... 50
3.3.6 AUC 值 ........................................................................................... 54
3.4 産品經理的經驗之談 ................................................................................. 55
4 趨勢預測專傢：迴歸分析 ................................................................................ 57
4.1 什麼是迴歸分析 ......................................................................................... 57
4.2 綫性迴歸 ..................................................................................................... 58
4.2.1 一元綫性迴歸 ................................................................................. 58
4.2.2 多元綫性迴歸 ................................................................................. 63
4.3 如何評價迴歸模型的效果 ......................................................................... 66
4.4 邏輯迴歸 ..................................................................................................... 68
4.4.1 從綫性到非綫性 ............................................................................. 68
4.4.2 引入 Sigmoid 函數 ......................................................................... 71
4.5 梯度下降法 ................................................................................................. 74
4.5.1 梯度下降原理 ................................................................................. 74
4.5.2 梯度下降的特點 ............................................................................. 76
4.6 産品經理的經驗之談 ................................................................................. 77
5 最容易理解的分類算法：決策樹 ................................................................... 79
5.1 生活中的決策樹 ......................................................................................... 79
5.2 決策樹原理 ................................................................................................. 80
5.3 決策樹實現過程 ......................................................................................... 82
5.3.1 ID3 算法 ......................................................................................... 83
5.3.2 決策樹剪枝..................................................................................... 86
5.4 ID3 算法的限製與改進 .............................................................................. 88
5.4.1 ID3 算法存在的問題 ..................................................................... 88
5.4.2 C4.5 算法的齣現 ............................................................................ 89
5.4.3 CART 算法 ..................................................................................... 95
5.4.4 三種樹的對比 ................................................................................. 97
5.5 決策樹的應用 ............................................................................................. 98
5.6 産品經理的經驗之談 ................................................................................. 99
6 垃圾郵件剋星：樸素貝葉斯算法 ................................................................. 101
6.1 什麼是樸素貝葉斯 ................................................................................... 101
6.1.1 一個流量預測的場景 ................................................................... 101
6.1.2 樸素貝葉斯登場 ........................................................................... 102
6.2 樸素貝葉斯如何計算 ............................................................................... 103
6.2.1 理論概率與條件概率 ................................................................... 103
6.2.2 引入貝葉斯定理 ........................................................................... 105
6.2.3 貝葉斯定理有什麼用 ................................................................... 107
6.3 樸素貝葉斯的實際應用 ........................................................................... 108
6.3.1 垃圾郵件的剋星 ........................................................................... 108
6.3.2 樸素貝葉斯的實現過程 ............................................................... 111
6.4 進一步的提升 ........................................................................................... 112
6.4.1 詞袋子睏境................................................................................... 112
6.4.2 多項式模型與伯努利模型 ........................................................... 113
6.5 産品經理的經驗之談 ............................................................................... 114
7 模擬人類思考過程：神經網絡 ...................................................................... 116
7.1 最簡單的神經元模型 ............................................................................... 116
7.1.1 從生物學到機器學習 ................................................................... 116
7.1.2 神經元模型................................................................................... 118
7.2 感知機 ....................................................................................................... 121
7.2.1 基礎感知機原理 ........................................................................... 121
7.2.2 感知機的限製 ............................................................................... 125
7.3 多層神經網絡與誤差逆傳播算法 ........................................................... 126
7.3.1 從單層到多層神經網絡 ............................................................... 126
7.3.2 巧用 BP 算法解決計算問題 ........................................................ 128
7.4 RBF 神經網絡 .......................................................................................... 132
7.4.1 全連接與局部連接 ....................................................................... 132
7.4.2 改變激活函數 ............................................................................... 134
7.5 産品經理的經驗之談 ............................................................................... 136
8 求解支持嚮量機 ............................................................................................... 138
8.1 綫性支持嚮量機 ....................................................................................... 138
8.1.1 區分咖啡豆................................................................................... 138
8.1.2 支持嚮量來幫忙 ........................................................................... 139
8.2 綫性支持嚮量機推導過程 ....................................................................... 140
8.2.1 SVM 的數學定義 ......................................................................... 140
8.2.2 拉格朗日乘子法 ........................................................................... 143
8.2.3 對偶問題求解 ............................................................................... 146
8.2.4 SMO 算法 ..................................................................................... 147
8.3 非綫性支持嚮量機與核函數 ................................................................... 148
8.4 軟間隔支持嚮量機 ................................................................................... 150
8.5 支持嚮量機的不足之處 ........................................................................... 152
8.6 産品經理的經驗之談 ............................................................................... 153
9 要想模型效果好，集成算法少不瞭 ............................................................. 155
9.1 個體與集成 ............................................................................................... 155
9.1.1 三個臭皮匠賽過諸葛亮 ............................................................... 155
9.1.2 人多一定力量大嗎 ....................................................................... 157
9.2 Boosting 族算法 ....................................................................................... 158
9.2.1 Boosting 是什麼 ........................................................................... 158
9.2.2 AdaBoost 如何增強 ...................................................................... 160
9.2.3 梯度下降與決策樹集成 ............................................................... 163
9.3 Bagging 族算法 ........................................................................................ 166
9.3.1 Bagging 是什麼 ............................................................................ 166
9.3.2 隨機森林算法 ............................................................................... 168
9.4 兩類集成算法的對比 ............................................................................... 171
9.5 産品經理的經驗之談 ............................................................................... 173
10 透過現象看本質，全靠降維來幫忙 ......................................................... 175
10.1 K 近鄰學習法 ......................................................................................... 175
10.1.1 “人以群分”的算法 ................................................................. 175
10.1.2 如何實現 KNN 算法 ................................................................ 176
10.2 從高維到低維的轉換 ............................................................................. 178
10.2.1 維數過高帶來的問題 ............................................................... 178
10.2.2 什麼是降維 ............................................................................... 179
10.3 主成分分析法 ......................................................................................... 180
10.3.1 PCA 原理 .................................................................................. 180
10.3.2 PCA 的特點與作用 .................................................................. 184
10.4 綫性判彆分析法 ..................................................................................... 186
10.5 流形學習算法 ......................................................................................... 189
10.6 産品經理的經驗之談 ............................................................................. 193
11 圖像識彆與捲積神經網絡 ........................................................................... 195
11.1 圖像識彆的準備工作 ............................................................................. 195
11.1.1 從電影走進現實 ....................................................................... 195
11.1.2 圖像的錶達 ............................................................................... 196
11.1.3 圖像采集與預處理 ................................................................... 199
11.2 捲積神經網絡 ......................................................................................... 202
11.2.1 捲積運算 ................................................................................... 202
11.2.2 什麼是捲積神經網絡 ............................................................... 205
11.3 人臉識彆技術 ......................................................................................... 211
11.3.1 人臉檢測 ................................................................................... 211
11.3.2 人臉識彆 ................................................................................... 212
11.3.3 人臉識彆的效果評價方法 ....................................................... 214
11.4 産品經理的經驗之談 ............................................................................. 215
12 自然語言處理與循環神經網絡 .................................................................. 217
12.1 自然語言處理概述 ................................................................................. 217
12.1.1 什麼是自然語言處理 ............................................................... 217
12.1.2 為什麼計算機難以理解語言 ................................................... 219
12.2 初識循環神經網絡 ................................................................................. 220
12.2.1 CNN 為什麼不能處理文本 ...................................................... 220
12.2.2 循環神經網絡登場 ................................................................... 222
12.2.3 RNN 的結構 ............................................................................. 224
12.3 RNN 的實現方式 ................................................................................... 228
12.3.1 引入 BPTT 求解 RNN .............................................................. 228
12.3.2 梯度消失問題 ........................................................................... 230
12.4 RNN 的提升 ........................................................................................... 231
12.4.1 長期依賴問題 ........................................................................... 231
12.4.2 處理長序列能手——LSTM .................................................... 232
12.5 産品經理的經驗之談 ............................................................................. 235
13 AI 繪畫與生成對抗網絡 ............................................................................. 237
13.1 初識生成對抗網絡 ................................................................................. 237
13.1.1 貓和老鼠的遊戲 ....................................................................... 237
13.1.2 生成網絡是什麼 ....................................................................... 240
13.1.3 判彆檢驗 ................................................................................... 244
13.1.4 生成對抗的過程 ....................................................................... 244
13.2 生成對抗網絡的應用 ............................................................................. 246
13.2.1 GAN 的特點 ............................................................................. 246
13.2.2 GAN 的應用場景 ..................................................................... 247
13.3 生成對抗網絡的提升 ............................................................................. 249
13.3.1 強強聯閤的 DCGAN ................................................................ 249
13.3.2 通過 BEGAN 化繁為簡 ........................................................... 251
13.3.3 對 GAN 的更多期待 ................................................................ 252
13.4 産品經理的經驗之談 ............................................................................. 253
參考資料 ................................................................................................................... 255
· · · · · · (收起)