前言 1
第一部分 入門篇 3
第 1 章 緒論 5
1.1 人工智能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.1 人工智能的發展曆史 . . . . . . . . . . . . . . . . . . . . 7
1.1.2 人工智能的流派 . . . . . . . . . . . . . . . . . . . . . . 9
1.2 神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.1 大腦神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.2 人工神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.3 神經網絡的發展曆史 . . . . . . . . . . . . . . . . . . . . 12
1.3 機器學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4 錶示學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4.1 局部錶示和分布式錶示 . . . . . . . . . . . . . . . . . . . 15
1.4.2 錶示學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.5 深度學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.5.1 端到端學習 . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.5.2 常用的深度學習框架 . . . . . . . . . . . . . . . . . . . . 19
1.6 本書的組織結構 . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
第 2 章 機器學習概述 25
2.1 基本概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2 機器學習的三個基本要素 . . . . . . . . . . . . . . . . . . . . . 28
2.2.1 模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.2.2 學習準則 . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2.3 優化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3 機器學習的簡單示例：綫性迴歸 . . . . . . . . . . . . . . . . . . 36
2.3.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4 偏差-方差分解 . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.5 機器學習算法的類型 . . . . . . . . . . . . . . . . . . . . . . . . 44
2.6 數據的特徵錶示 . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.6.1 傳統的特徵學習 . . . . . . . . . . . . . . . . . . . . . . 47
2.6.2 深度學習方法 . . . . . . . . . . . . . . . . . . . . . . . . 48
2.7 評價指標 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.8 理論和定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.8.1 PAC學習理論 . . . . . . . . . . . . . . . . . . . . . . . . 51
2.8.2 沒有免費午餐定理 . . . . . . . . . . . . . . . . . . . . . 52
2.8.3 醜小鴨定理 . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.8.4 奧卡姆剃刀 . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.8.5 歸納偏置 . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.9 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
第 3 章 綫性模型 57
3.1 綫性判彆函數和決策邊界 . . . . . . . . . . . . . . . . . . . . . 58
3.1.1 兩類分類 . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.1.2 多類分類 . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.2 Logistic迴歸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.2.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.3 Softmax迴歸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.3.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.4 感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.4.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.4.2 感知器的收斂性 . . . . . . . . . . . . . . . . . . . . . . 67
3.4.3 參數平均感知器 . . . . . . . . . . . . . . . . . . . . . . 69
3.4.4 擴展到多類分類 . . . . . . . . . . . . . . . . . . . . . . 70
3.5 支持嚮量機 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.5.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.5.2 核函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.5.3 軟間隔 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.6 損失函數對比 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
第二部分 基礎模型 83
第 4 章 前饋神經網絡 85
4.1 神經元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.1.1 Sigmoid型激活函數 . . . . . . . . . . . . . . . . . . . . 87
4.1.2 修正綫性單元 . . . . . . . . . . . . . . . . . . . . . . . . 90
4.1.3 Swish函數 . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.1.4 Maxout單元 . . . . . . . . . . . . . . . . . . . . . . . . 93
4.2 網絡結構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.2.1 前饋網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.2.2 反饋網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.2.3 圖網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.3 前饋神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.3.1 通用近似定理 . . . . . . . . . . . . . . . . . . . . . . . . 97
4.3.2 應用到機器學習 . . . . . . . . . . . . . . . . . . . . . . 98
4.3.3 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.4 反嚮傳播算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.5 自動梯度計算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.5.1 數值微分 . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.5.2 符號微分 . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.5.3 自動微分 . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.6 優化問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.6.1 非凸優化問題 . . . . . . . . . . . . . . . . . . . . . . . . 107
4.6.2 梯度消失問題 . . . . . . . . . . . . . . . . . . . . . . . . 107
4.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
第 5 章 捲積神經網絡 113
5.1 捲積 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.1.1 互相關 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.1.2 捲積的變種 . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.1.3 捲積的數學性質 . . . . . . . . . . . . . . . . . . . . . . 118
5.2 捲積神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.2.1 用捲積來代替全連接 . . . . . . . . . . . . . . . . . . . . 119
5.2.2 捲積層 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.2.3 匯聚層 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.2.4 典型的捲積網絡結構 . . . . . . . . . . . . . . . . . . . . 123
5.3 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
5.3.1 誤差項的計算 . . . . . . . . . . . . . . . . . . . . . . . . 125
5.4 幾種典型的捲積神經網絡 . . . . . . . . . . . . . . . . . . . . . 126
5.4.1 LeNet-5 . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.4.2 AlexNet . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
5.4.3 Inception網絡 . . . . . . . . . . . . . . . . . . . . . . . 129
5.4.4 殘差網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.5 其它捲積方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.5.1 轉置捲積 . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.5.2 空洞捲積 . . . . . . . . . . . . . . . . . . . . . . . . . . 134
5.6 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
第 6 章 循環神經網絡 139
6.1 給網絡增加記憶能力 . . . . . . . . . . . . . . . . . . . . . . . . 140
6.1.1 延時神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 140
6.1.2 有外部輸入的非綫性自迴歸模型 . . . . . . . . . . . . . 140
6.1.3 循環神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 141
6.2 簡單循環網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
6.2.1 循環神經網絡的計算能力 . . . . . . . . . . . . . . . . . 142
6.3 應用到機器學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
6.3.1 序列到類彆模式 . . . . . . . . . . . . . . . . . . . . . . 144
6.3.2 同步的序列到序列模式 . . . . . . . . . . . . . . . . . . . 145
6.3.3 異步的序列到序列模式 . . . . . . . . . . . . . . . . . . . 145
6.4 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
6.4.1 隨時間反嚮傳播算法 . . . . . . . . . . . . . . . . . . . . 147
6.4.2 實時循環學習算法 . . . . . . . . . . . . . . . . . . . . . 148
6.5 長期依賴問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
6.5.1 改進方案 . . . . . . . . . . . . . . . . . . . . . . . . . . 150
6.6 基於門控的循環神經網絡 . . . . . . . . . . . . . . . . . . . . . 151
6.6.1 長短期記憶網絡 . . . . . . . . . . . . . . . . . . . . . . 151
6.6.2 LSTM網絡的各種變體 . . . . . . . . . . . . . . . . . . . 154
6.6.3 門控循環單元網絡 . . . . . . . . . . . . . . . . . . . . . 154
6.7 深層循環神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . . 156
6.7.1 堆疊循環神經網絡 . . . . . . . . . . . . . . . . . . . . . 156
6.7.2 雙嚮循環神經網絡 . . . . . . . . . . . . . . . . . . . . . 157
6.8 擴展到圖結構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
6.8.1 遞歸神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . 158
6.8.2 圖網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
6.9 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
第 7 章 網絡優化與正則化 165
7.1 網絡優化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.1.1 網絡優化的難點 . . . . . . . . . . . . . . . . . . . . . . 165
7.2 優化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
7.2.1 小批量梯度下降 . . . . . . . . . . . . . . . . . . . . . . 167
7.2.2 學習率衰減 . . . . . . . . . . . . . . . . . . . . . . . . . 169
7.2.3 梯度方嚮優化 . . . . . . . . . . . . . . . . . . . . . . . . 171
7.2.4 優化算法小結 . . . . . . . . . . . . . . . . . . . . . . . . 174
7.3 參數初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
7.4 數據預處理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
7.5 逐層歸一化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.5.1 批量歸一化 . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.5.2 層歸一化 . . . . . . . . . . . . . . . . . . . . . . . . . . 182
7.5.3 其它歸一化方法 . . . . . . . . . . . . . . . . . . . . . . 183
7.6 超參數優化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
7.6.1 網格搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.6.2 隨機搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.6.3 貝葉斯優化 . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.6.4 動態資源分配 . . . . . . . . . . . . . . . . . . . . . . . . 186
7.7 網絡正則化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
7.7.1 ℓ1 和ℓ2 正則化 . . . . . . . . . . . . . . . . . . . . . . . . 188
7.7.2 權重衰減 . . . . . . . . . . . . . . . . . . . . . . . . . . 189
7.7.3 提前停止 . . . . . . . . . . . . . . . . . . . . . . . . . . 189
7.7.4 丟棄法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
7.7.5 數據增強 . . . . . . . . . . . . . . . . . . . . . . . . . . 192
7.7.6 標簽平滑 . . . . . . . . . . . . . . . . . . . . . . . . . . 193
7.8 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
第 8 章 注意力機製與外部記憶 199
8.1 注意力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
8.1.1 認知神經學中的注意力 . . . . . . . . . . . . . . . . . . . 200
8.1.2 人工神經網絡中的注意力機製 . . . . . . . . . . . . . . . 201
8.1.3 注意力機製的變體 . . . . . . . . . . . . . . . . . . . . . 202
8.2 注意力機製的應用 . . . . . . . . . . . . . . . . . . . . . . . . . 204
8.2.1 指針網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 204
8.2.2 自注意力模型 . . . . . . . . . . . . . . . . . . . . . . . . 205
8.3 外部記憶 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
8.3.1 人腦中的記憶 . . . . . . . . . . . . . . . . . . . . . . . . 207
8.3.2 結構化的外部記憶 . . . . . . . . . . . . . . . . . . . . . 208
8.3.3 典型的記憶網絡 . . . . . . . . . . . . . . . . . . . . . . 210
8.3.4 基於神經動力學的聯想記憶 . . . . . . . . . . . . . . . . 213
8.4 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
第 9 章 無監督學習 219
9.1 無監督特徵學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
9.1.1 主成分分析 . . . . . . . . . . . . . . . . . . . . . . . . . 220
9.1.2 稀疏編碼 . . . . . . . . . . . . . . . . . . . . . . . . . . 222
9.1.3 自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . . . 224
9.1.4 稀疏自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . 225
9.1.5 堆疊自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . 226
9.1.6 降噪自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . 226
9.2 概率密度估計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
9.2.1 參數密度估計 . . . . . . . . . . . . . . . . . . . . . . . . 227
9.2.2 非參數密度估計 . . . . . . . . . . . . . . . . . . . . . . 229
9.3 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
第 10 章 模型獨立的學習方式 235
10.1 集成學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
10.1.1 AdaBoost算法 . . . . . . . . . . . . . . . . . . . . . . . 237
10.2 自訓練和協同訓練 . . . . . . . . . . . . . . . . . . . . . . . . . 239
10.2.1 自訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
10.2.2 協同訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . 240
10.3 多任務學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
10.4 遷移學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
10.5 終生學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
10.6 元學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
10.6.1 基於優化器的元學習 . . . . . . . . . . . . . . . . . . . . 252
10.6.2 模型無關的元學習 . . . . . . . . . . . . . . . . . . . . . 254
10.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
第三部分 進階模型 259
第 11 章 概率圖模型 261
11.1 模型錶示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
11.1.1 有嚮圖模型 . . . . . . . . . . . . . . . . . . . . . . . . . 263
11.1.2 常見的有嚮圖模型 . . . . . . . . . . . . . . . . . . . . . 265
11.1.3 無嚮圖模型 . . . . . . . . . . . . . . . . . . . . . . . . . 267
11.1.4 無嚮圖模型的概率分解 . . . . . . . . . . . . . . . . . . . 268
11.1.5 常見的無嚮圖模型 . . . . . . . . . . . . . . . . . . . . . 269
11.1.6 有嚮圖和無嚮圖之間的轉換 . . . . . . . . . . . . . . . . 270
11.2 推斷 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
11.2.1 變量消除法 . . . . . . . . . . . . . . . . . . . . . . . . . 271
11.2.2 信念傳播算法 . . . . . . . . . . . . . . . . . . . . . . . . 272
11.3 近似推斷 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
11.3.1 濛特卡羅方法 . . . . . . . . . . . . . . . . . . . . . . . . 275
11.3.2 拒絕采樣 . . . . . . . . . . . . . . . . . . . . . . . . . . 276
11.3.3 重要性采樣 . . . . . . . . . . . . . . . . . . . . . . . . . 277
11.3.4 馬爾可夫鏈濛特卡羅方法 . . . . . . . . . . . . . . . . . 278
11.4 學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
11.4.1 不含隱變量的參數估計 . . . . . . . . . . . . . . . . . . . 282
11.4.2 含隱變量的參數估計 . . . . . . . . . . . . . . . . . . . . 284
11.5 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
第 12 章 深度信念網絡 293
12.1 玻爾茲曼機 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
12.1.1 生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 295
12.1.2 能量最小化與模擬退火 . . . . . . . . . . . . . . . . . . . 297
12.1.3 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 298
12.2 受限玻爾茲曼機 . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
12.2.1 生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 301
12.2.2 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 304
12.2.3 受限玻爾茲曼機的類型 . . . . . . . . . . . . . . . . . . . 305
12.3 深度信念網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
12.3.1 生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 307
12.3.2 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 307
12.4 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
第 13 章 深度生成模型 315
13.1 概率生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
13.1.1 密度估計 . . . . . . . . . . . . . . . . . . . . . . . . . . 316
13.1.2 生成樣本 . . . . . . . . . . . . . . . . . . . . . . . . . . 316
13.2 變分自編碼器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
13.2.1 含隱變量的生成模型 . . . . . . . . . . . . . . . . . . . . 317
13.2.2 推斷網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 319
13.2.3 生成網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . 320
13.2.4 模型匯總 . . . . . . . . . . . . . . . . . . . . . . . . . . 321
13.2.5 訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
13.3 生成對抗網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
13.3.1 顯式密度模型和隱式密度模型 . . . . . . . . . . . . . . . 324
13.3.2 網絡分解 . . . . . . . . . . . . . . . . . . . . . . . . . . 325
13.3.3 訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
13.3.4 一個生成對抗網絡的具體實現：DCGAN . . . . . . . . . 326
13.3.5 模型分析 . . . . . . . . . . . . . . . . . . . . . . . . . . 327
13.3.6 改進模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 330
13.4 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
第 14 章 深度強化學習 335
14.1 強化學習問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
14.1.1 典型例子 . . . . . . . . . . . . . . . . . . . . . . . . . . 336
14.1.2 強化學習定義 . . . . . . . . . . . . . . . . . . . . . . . . 336
14.1.3 馬爾可夫決策過程 . . . . . . . . . . . . . . . . . . . . . 337
14.1.4 強化學習的目標函數 . . . . . . . . . . . . . . . . . . . . 339
14.1.5 值函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
14.1.6 深度強化學習 . . . . . . . . . . . . . . . . . . . . . . . . 341
14.2 基於值函數的學習方法 . . . . . . . . . . . . . . . . . . . . . . . 342
14.2.1 動態規劃算法 . . . . . . . . . . . . . . . . . . . . . . . . 342
14.2.2 濛特卡羅方法 . . . . . . . . . . . . . . . . . . . . . . . . 345
14.2.3 時序差分學習方法 . . . . . . . . . . . . . . . . . . . . . 346
14.2.4 深度Q網絡 . . . . . . . . . . . . . . . . . . . . . . . . . 349
14.3 基於策略函數的學習方法 . . . . . . . . . . . . . . . . . . . . . 351
14.3.1 REINFORCE算法 . . . . . . . . . . . . . . . . . . . . . 352
14.3.2 帶基準綫的REINFORCE算法 . . . . . . . . . . . . . . 353
14.4 Actor-Critic算法 . . . . . . . . . . . . . . . . . . . . . . . . . . 354
14.5 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
第 15 章 序列生成模型 361
15.1 序列概率模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
15.1.1 序列生成 . . . . . . . . . . . . . . . . . . . . . . . . . . 362
15.2 N元統計模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
15.3 深度序列模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
15.3.1 參數學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 369
15.4 評價方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
15.4.1 睏惑度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
15.4.2 BLEU . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
15.4.3 ROUGE . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
15.5 序列生成模型中的學習問題 . . . . . . . . . . . . . . . . . . . . 372
15.5.1 曝光偏差問題 . . . . . . . . . . . . . . . . . . . . . . . . 372
15.5.2 訓練目標不一緻問題 . . . . . . . . . . . . . . . . . . . . 373
15.5.3 計算效率問題 . . . . . . . . . . . . . . . . . . . . . . . . 373
15.6 序列到序列模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
15.6.1 基於循環神經網絡的序列到序列模型 . . . . . . . . . . . 382
15.6.2 基於注意力的序列到序列模型 . . . . . . . . . . . . . . . 383
15.6.3 基於自注意力的序列到序列模型 . . . . . . . . . . . . . 383
15.7 總結和深入閱讀 . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
附錄 A 綫性代數 389
A.1 嚮量和嚮量空間 . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
A.1.1 嚮量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
A.1.2 嚮量空間 . . . . . . . . . . . . . . . . . . . . . . . . . . 389
A.1.3 範數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
A.1.4 常見的嚮量 . . . . . . . . . . . . . . . . . . . . . . . . . 392
A.2 矩陣 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
A.2.1 綫性映射 . . . . . . . . . . . . . . . . . . . . . . . . . . 392
A.2.2 矩陣操作 . . . . . . . . . . . . . . . . . . . . . . . . . . 393
A.2.3 矩陣類型 . . . . . . . . . . . . . . . . . . . . . . . . . . 394
A.2.4 特徵值與特徵矢量 . . . . . . . . . . . . . . . . . . . . . 396
A.2.5 矩陣分解 . . . . . . . . . . . . . . . . . . . . . . . . . . 396
附錄 B 微積分 397
B.1 導數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397
B.1.1 導數法則 . . . . . . . . . . . . . . . . . . . . . . . . . . 399
B.2 常見函數的導數 . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
B.2.1 嚮量函數及其導數 . . . . . . . . . . . . . . . . . . . . . 400
B.2.2 按位計算的嚮量函數及其導數 . . . . . . . . . . . . . . . 400
B.2.3 Logistic函數 . . . . . . . . . . . . . . . . . . . . . . . . 400
B.2.4 softmax函數 . . . . . . . . . . . . . . . . . . . . . . . . 401
附錄 C 數學優化 403
C.1 數學優化的類型 . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
C.1.1 離散優化和連續優化 . . . . . . . . . . . . . . . . . . . . 403
C.1.2 無約束優化和約束優化 . . . . . . . . . . . . . . . . . . . 404
C.1.3 綫性優化和非綫性優化 . . . . . . . . . . . . . . . . . . . 404
C.2 優化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
C.3 拉格朗日乘數法與KKT條件 . . . . . . . . . . . . . . . . . . . 407
C.3.1 等式約束優化問題 . . . . . . . . . . . . . . . . . . . . . 408
C.3.2 不等式約束優化問題 . . . . . . . . . . . . . . . . . . . . 408
附錄 D 概率論 410
D.1 樣本空間 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
D.2 事件和概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
D.2.1 隨機變量 . . . . . . . . . . . . . . . . . . . . . . . . . . 411
D.2.2 隨機嚮量 . . . . . . . . . . . . . . . . . . . . . . . . . . 415
D.2.3 邊際分布 . . . . . . . . . . . . . . . . . . . . . . . . . . 416
D.2.4 條件概率分布 . . . . . . . . . . . . . . . . . . . . . . . . 417
D.2.5 獨立與條件獨立 . . . . . . . . . . . . . . . . . . . . . . 418
D.2.6 期望和方差 . . . . . . . . . . . . . . . . . . . . . . . . . 418
D.3 隨機過程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
D.3.1 馬爾可夫過程 . . . . . . . . . . . . . . . . . . . . . . . . 420
D.3.2 高斯過程 . . . . . . . . . . . . . . . . . . . . . . . . . . 421
附錄 E 信息論 423
E.1 熵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
E.1.1 自信息和熵 . . . . . . . . . . . . . . . . . . . . . . . . . 423
E.1.2 聯閤熵和條件熵 . . . . . . . . . . . . . . . . . . . . . . 424
E.2 互信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424
E.3 交叉熵和散度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
E.3.1 交叉熵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
E.3.2 KL散度 . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
E.3.3 JS散度 . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
E.3.4 Wasserstein距離 . . . . . . . . . . . . . . . . . . . . . . 426
· · · · · · (收起)