第一部分緒論1
0.1 引言 . 2
0.2 什麼是深度學習 3
0.3 深度學習的前世今生 . 6
第二部分基礎理論篇9
1 捲積神經網絡基礎知識10
1.1 發展曆程 11
1.2 基本結構 13
1.3 前饋運算 16
1.4 反饋運算 16
1.5 小結 . 19
2 捲積神經網絡基本部件21
2.1 “端到端”思想 21
2.2 網絡符號定義 . 23
2.3 捲積層 . 24
2.3.1 什麼是捲積 24
2.3.2 捲積操作的作用 27
2.4 匯閤層 . 28
2.4.1 什麼是匯閤 29
2.4.2 匯閤操作的作用 30
2.5 激活函數 31
2.6 全連接層 33
2.7 目標函數 34
2.8 小結 . 34
3 捲積神經網絡經典結構35
3.1 CNN 網絡結構中的重要概念 . 35
3.1.1 感受野 . 35
3.1.2 分布式錶示 37
3.1.3 深度特徵的層次性 39
3.2 經典網絡案例分析 . 42
3.2.1 Alex-Net 網絡模型 . 42
3.2.2 VGG-Nets 網絡模型 46
3.2.3 Network-In-Network 48
3.2.4 殘差網絡模型 . 49
3.3 小結 . 54
4 捲積神經網絡的壓縮56
4.1 低秩近似 58
4.2 剪枝與稀疏約束 60
4.3 參數量化 64
4.4 二值網絡 68
4.5 知識蒸餾 71
4.6 緊湊的網絡結構 74
4.7 小結 . 76
第三部分實踐應用篇77
5 數據擴充78
5.1 簡單的數據擴充方式 . 78
5.2 特殊的數據擴充方式 . 80
5.2.1 Fancy PCA . 80
5.2.2 監督式數據擴充 80
5.3 小結 . 82
6 數據預處理83
7 網絡參數初始化85
7.1 全零初始化 . 86
7.2 隨機初始化 . 86
7.3 其他初始化方法 90
7.4 小結 . 90
8 激活函數91
8.1 Sigmoid 型函數 . 92
8.2 tanh(x) 型函數 . 93
8.3 修正綫性單元（ReLU） 93
8.4 Leaky ReLU . 94
8.5 參數化ReLU 95
8.6 隨機化ReLU 97
8.7 指數化綫性單元（ELU） . 98
8.8 小結 . 99
9 目標函數100
9.1 分類任務的目標函數 . 100
9.1.1 交叉熵損失函數 101
9.1.2 閤頁損失函數 . 101
9.1.3 坡道損失函數 . 101
9.1.4 大間隔交叉熵損失函數 103
9.1.5 中心損失函數 . 105
9.2 迴歸任務的目標函數 . 107
9.2.1 ℓ1 損失函數 108
9.2.2 ℓ2 損失函數 108
9.2.3 Tukey’s biweight 損失函數 109
9.3 其他任務的目標函數 . 109
9.4 小結 . 111
10 網絡正則化113
10.1 ℓ2 正則化 114
10.2 ℓ1 正則化 115
10.3 最大範數約束 . 115
10.4 隨機失活 116
10.5 驗證集的使用 . 118
10.6 小結 . 119
11 超參數設定和網絡訓練120
11.1 網絡超參數設定 120
11.1.1 輸入數據像素大小 120
11.1.2 捲積層參數的設定 121
11.1.3 匯閤層參數的設定 122
11.2 訓練技巧 123
11.2.1 訓練數據隨機打亂 123
11.2.2 學習率的設定 . 123
11.2.3 批規範化操作 . 125
11.2.4 網絡模型優化算法選擇 127
11.2.5 微調神經網絡 . 132
11.3 小結 . 133
12 不平衡樣本的處理135
12.1 數據層麵處理方法 . 136
12.1.1 數據重采樣 136
12.1.2 類彆平衡采樣 . 137
12.2 算法層麵處理方法 . 138
12.2.1 代價敏感方法 . 139
12.2.2 代價敏感法中權重的指定方式 140
12.3 小結 . 142
13 模型集成方法143
13.1 數據層麵的集成方法 . 143
13.1.1 測試階段數據擴充 143
13.1.2 “簡易集成”法 144
13.2 模型層麵的集成方法 . 144
13.2.1 單模型集成 144
13.2.2 多模型集成 146
13.3 小結 . 149
14 深度學習開源工具簡介151
14.1 常用框架對比 . 151
14.2 常用框架的各自特點 . 153
14.2.1 Caffe 153
14.2.2 Deeplearning4j . 153
14.2.3 Keras 154
14.2.4 MXNet . 155
14.2.5 MatConvNet 155
14.2.6 TensorFlow . 155
14.2.7 Theano . 156
14.2.8 Torch 157
A 嚮量、矩陣及其基本運算158
B 隨機梯度下降162
C 鏈式法則165
參考文獻167
索引181
· · · · · · (收起)