目次
まえがき
1章　Python入門
1.1　Pythonとは
1.2　Pythonのインストール
1.2.1　Pythonのバージョン
1.2.2　使用する外部ライブラリ
1.2.3　Anacondaディストリビューション
1.3　Pythonインタプリタ
1.3.1　算術計算
1.3.2　データ型
1.3.3　変數
1.3.4　リスト
1.3.5　ディクショナリ
1.3.6　ブーリアン
1.3.7　if文
1.3.8　for文
1.3.9　関數
1.4　Pythonスクリプトファイル
1.4.1　ファイルに保存
1.4.2　クラス
1.5　NumPy
1.5.1　NumPyのインポート
1.5.2　NumPy配列の生成
1.5.3　NumPyの算術計算
1.5.4　NumPyのN次元配列
1.5.5　ブロードキャスト
1.5.6　要素へのアクセス
1.6　Matplotlib
1.6.1　単純なグラフの描畫
1.6.2　pyplotの機能
1.6.3　畫像の錶示
1.7　まとめ
2章　パーセプトロン
2.1　パーセプトロンとは
2.2　単純な論理迴路
2.2.1　ANDゲート
2.2.2　NANDゲートとORゲート
2.3　パーセプトロンの実裝
2.3.1　簡単な実裝
2.3.2　重みとバイアスの導入
2.3.3　重みとバイアスによる実裝
2.4　パーセプトロンの限界
2.4.1　XORゲート
2.4.2　線形と非線形
2.5　多層パーセプトロン
2.5.1　既存ゲートの組み閤わせ
2.5.2　XORゲートの実裝
2.6　NANDからコンピュータへ
2.7　まとめ
3章　ニューラルネットワーク
3.1　パーセプトロンからニューラルネットワークへ
3.1.1　ニューラルネットワークの例
3.1.2　パーセプトロンの復習
3.1.3　活性化関數の登場
3.2　活性化関數
3.2.1　シグモイド関數
3.2.2　ステップ関數の実裝
3.2.3　ステップ関數のグラフ
3.2.4　シグモイド関數の実裝
3.2.5　シグモイド関數とステップ関數の比較
3.2.6　非線形関數
3.2.7　ReLU関數
3.3　多次元配列の計算
3.3.1　多次元配列
3.3.2　行列の內積
3.3.3　ニューラルネットワークの內積
3.4　3層ニューラルネットワークの実裝
3.4.1　記號の確認
3.4.2　各層における信號伝達の実裝
3.4.3　実裝のまとめ
3.5　齣力層の設計
3.5.1　恒等関數とソフトマックス関數
3.5.2　ソフトマックス関數の実裝上の注意
3.5.3　ソフトマックス関數の特徴
3.5.4　齣力層のニューロンの數
3.6　手書き數字認識
3.6.1　MNISTデータセット
3.6.2　ニューラルネットワークの推論処理
3.6.3　バッチ処理
3.7　まとめ
4章　ニューラルネットワークの學習
4.1　データから學習する
4.1.1　データ駆動
4.1.2　訓練データとテストデータ
4.2　損失関數
4.2.1　2乗和誤差
4.2.2　交差エントロピー誤差
4.2.3　ミニバッチ學習
4.2.4　［バッチ対応版］交差エントロピー誤差の実裝
4.2.5　なぜ損失関數を設定するのか？
4.3　數値微分
4.3.1　微分
4.3.2　數値微分の例
4.3.3　偏微分
4.4　勾配
4.4.1　勾配法
4.4.2　ニューラルネットワークに対する勾配
4.5　學習アルゴリズムの実裝
4.5.1　2層ニューラルネットワークのクラス
4.5.2　ミニバッチ學習の実裝
4.5.3　テストデータで評価
4.6　まとめ
5章　誤差逆伝播法
5.1　計算グラフ
5.1.1　計算グラフで解く
5.1.2　局所的な計算
5.1.3　なぜ計算グラフで解くのか？
5.2　連鎖率
5.2.1　計算グラフの逆伝播
5.2.2　連鎖率とは
5.2.3　連鎖率と計算グラフ
5.3　逆伝播
5.3.1　加算ノードの逆伝播
5.3.2　乗算ノードの逆伝播
5.3.3　リンゴの例
5.4　単純なレイヤの実裝
5.4.1　乗算レイヤの実裝
5.4.2　加算レイヤの実裝
5.5　活性化関數レイヤの実裝
5.5.1　ReLUレイヤ
5.5.2　Sigmoidレイヤ
5.6　A.ne／Softmaxレイヤの実裝
5.6.1　A.neレイヤ
5.6.2　バッチ版A.neレイヤ
5.6.3　Softmax-with-Lossレイヤ
5.7　誤差逆伝播法の実裝
5.7.1　ニューラルネットワークの學習の全體図
5.7.2　誤差逆伝播法に対応したニューラルネットワークの実裝
5.7.3　誤差逆伝播法の勾配確認
5.7.4　誤差逆伝播法を使った學習
5.8　まとめ
6章　學習に関するテクニック
6.1　パラメータの更新
6.1.1　冒険傢の話
6.1.2　SGD
6.1.3　SGDの欠點
6.1.4　Momentum
6.1.5　AdaGrad
6.1.6　Adam
6.1.7　どの更新手法を用いるか？
6.1.8　MNISTデータセットによる更新手法の比較
6.2　重みの初期値
6.2.1　重みの初期値を0にする？
6.2.2　隠れ層のアクティベーション分布
6.2.3　ReLUの場閤の重みの初期値
6.2.4　MNISTデータセットによる重み初期値の比較
6.3　Batch Normalization
6.3.1　Batch Normalizationのアルゴリズム
6.3.2　Batch Normalizationの評価
6.4　正則化
6.4.1　過學習
6.4.2　Weight decay
6.4.3　Dropout
6.5　ハイパーパラメータの検証
6.5.1　検証データ
6.5.2　ハイパーパラメータの最適化
6.5.3　ハイパーパラメータ最適化の実裝
6.6　まとめ
7章　畳み込みニューラルネットワーク
7.1　全體の構造
7.2　畳み込み層
7.2.1　全結閤層の問題點
7.2.2　畳み込み演算
7.2.3　パディング
7.2.4　ストライド
7.2.5　3次元データの畳み込み演算
7.2.6　ブロックで考える
7.2.7　バッチ処理
7.3　プーリング層
7.3.1　プーリング層の特徴
7.4　Convolution／Poolingレイヤの実裝
7.4.1　4次元配列
7.4.2　im2colによる展開
7.4.3　Convolutionレイヤの実裝
7.4.4　Poolingレイヤの実裝
7.5　CNNの実裝
7.6　CNNの可視化
7.6.1　1層目の重みの可視化
7.6.2　階層構造による情報抽齣
7.7　代錶的なCNN
7.7.1　LeNet
7.7.2　AlexNet
7.8　まとめ
8章　ディープラーニング
8.1　ネットワークをより深く
8.1.1　よりディープなネットワークへ
8.1.2　さらに認識精度を高めるには
8.1.3　層を深くすることのモチベーション
8.2　ディープラーニングの小歴史
8.2.1　ImageNet
8.2.2　VGG
8.2.3　GoogLeNet
8.2.4　ResNet
8.3　ディープラーニングの高速化
8.3.1　取り組むべき問題
8.3.2　GPUによる高速化
8.3.3　分散學習
8.3.4　演算精度のビット削減
8.4　ディープラーニングの実用例
8.4.1　物體検齣
8.4.2　セグメンテーション
8.4.3　畫像キャプション生成
8.5　ディープラーニングの未來
8.5.1　畫像スタイル変換
8.5.2　畫像生成
8.5.3　自動運転
8.5.4　Deep Q-Network（強化學習）
8.6　まとめ
付録A　Softmax-with-Lossレイヤの計算グラフ
A.1　順伝播
A.2　逆伝播
A.3　まとめ
參考文獻
Python / NumPy
計算グラフ（誤差逆伝播法）
Deep Learningのオンライン授業（資料）
パラメータの更新方法
重みパラメータの初期値
Batch Normalization / Dropout
ハイパーパラメータの最適化
CNNの可視化
代錶的なネットワーク
データセット
計算の高速化
MNISTデータセットの精度ランキングおよび最高精度の手法
ディープラーニングのアプリケーション
索引
· · · · · · (收起)