第1章 深度強化學習概覽
1.1 什麼是深度強化學習？
1.1.1 俯瞰強化學習
1.1.2 來一杯深度學習
1.1.3 Hello，深度強化學習
1.2 深度強化學習的學習策略
1.3 本書的內容概要
參考文獻
第2章 強化學習基礎
2.1 真相--經典的隱馬爾科夫模型（HMM）
2.1.1 HMM引例
2.1.2 模型理解與推導
2.1.3 隱馬爾科夫應用舉例
2.2 逢考必過—馬爾科夫決策過程（MDP）
2.2.1 MDP生活化引例
2.2.2 MDP模型
2.2.3 MDP模型引例
2.2.4 模型理解
2.2.5 探索與利用
2.2.6 值函數和動作值函數
2.2.7 基於動態規劃的強化問題求解
2.3 糟糕，考試不給題庫—無模型強化學習
2.3.1 濛特卡洛算法
2.3.2 時序差分算法
2.3.3 異步強化學習算法
2.4 學霸來瞭--強化學習之模仿學習
2.4.1 模仿學習（Imitation Learning）
2.4.2 逆強化學習
本章總結
參考
第3章 深度學習基礎
3.1 深度學習簡史
3.1.1 神經網絡發展史
3.1.2 深度學習的分類
3.1.3 深度學習的應用
3.1.4 深度學習存在的問題
3.2 深度學習基礎概念
3.2.1 深度學習總體感知
3.2.2 神經網絡的基本組成
3.2.3 深度學習訓練
3.2.4 梯度下降法
3.2.5 反嚮傳播算法（BP）
3.3 數據預處理
3.3.1 主成分分析（PCA）
3.3.2 獨立成分分析（ICA）
3.3.3 數據白化處理
3.4 深度學習硬件基礎
3.4.1 深度學習硬件基礎
3.4.2 GPU簡介
3.4.3 CUDA編程
本章總結
參考
第4章 功能神經網絡層
4.1 激活函數單元
4.2 池化層Pooling layer
4.3 參數開關Dropout
4.4 批量歸一化層（Batch normalization layer）
4.5 全連接層
4.6 捲積神經網絡
4.7 全捲積神經網絡
4.8 循環（遞歸）神經網絡（RNN）
4.9 深度學習的
本章總結
參考
第5章 捲積神經網絡（CNN）
5.1 捲積神經網絡 CNN 基礎
5.1.1 捲積神經網絡的曆史
5.1.2 捲積神經網絡的核心
5.2 捲積神經網絡 CNN 結構
5.2.1 深度捲積神經網絡CNN
5.2.2 深度捲積神經網絡CNN可視化
5.3 經典捲積神經網絡架構分析
5.3.1 一切的開始--LeNet
5.3.2 王者迴歸--AlexNet
5.3.3 起飛的時候--VGG
5.3.4 緻敬經典GoogLeNet
5.3.5 沒有最深隻有更深--ResNet
5.4 對抗網絡
5.4.1 對抗網絡（GAN）
5.4.2 WGAN
5.5 RCNN
5.6 CNN的應用實例
本章總結
參考
第6章 循環神經網絡（RNN）
6.1 RNN概覽
6.2 長期依賴（Long-Term Dependencies）問題
6.3 LSTM 的變體
本章總結
參考
第7章：如何寫自己的CNN—C語言實現深度學習
7.1 如何寫自己的CMake文件
7.2 如何寫自己神經網絡
7.2.1 激活函數
7.2.2 池化函數
7.2.3 全連接層
7.3 捲積神經網絡
7.3.1 CNN網絡的構建
7.3.2 CNN前嚮傳播
7.3.3 CNN的反嚮傳播
7.4 文件解析
本章總結
第8章 深度強化學習
8.1 初識深度強化學習
8.1.1 深度強化學習概覽
8.1.2 記憶迴放（Memory-Replay）機製
8.1.3 濛特卡羅搜索樹
8.2 深度強化學習（DRL）中的值函數算法
8.2.1 DRL中值函數的作用
8.2.2 DRL中值函數理論推導
8.3 深度強化學習中的策略梯度（Policy Gradient）
8.3.1 策略梯度的作用和優勢
8.3.2 策略梯度的理論推導
8.3.3 REINFORCE算法
8.3.4 策略梯度的優化算法
8.3.5 策略子－評判算法（Actor-Critic）
8.4 深度強化學習網絡結構
參考
第9章 深度強化學習算法框架
9.1 深度Q學習
9.2 雙Q學習
9.3 異步深度強化學習
9.4 異步優越性策略子-評價算法
9.5 DDPG 算法：
9.6 值迭代網絡
本章總結
參考
第10章 深度強化學習應用實例
10.1 Flappy Bird 應用
10.2 Play Pong 應用
10.3 深度地形-自適應應用（Deep Terrain-adaptive應用）
10.4 AlphaGo 254
10.4.1 獨立算法的研究部分
10.4.2 AlphaGo算法
本章總結
參考
附錄： 常用的深度學習框架
F.1. 榖歌TensorFlow
F.1.1 TensorFlow 簡介
F.1.2 TensorFlow 基礎
F.2 輕量級MXNet
F.2.1 MXnet介紹
F.2.2 MXnet基礎
F.3 來至UCLA 的Caffe
F.3.1 Caffe 簡介
F3.2 Caffe基礎
F.4 悠久的 Theano
F.4.1 Theano簡介
F.4.2 Theano基礎
F.5 30s 入門的Keras
參考
· · · · · · (收起)