Deep Learning

出版者:The MIT Press

作者:Ian Goodfellow

页数:800

出版时间:2016-11-11

价格:USD 72.00

装帧:Hardcover

isbn号码:9780262035613

丛书系列:Adaptive Computation and Machine Learning

具体描述

"Written by three experts in the field, Deep Learning is the only comprehensive book on the subject." -- Elon Musk, co-chair of OpenAI; co-founder and CEO of Tesla and SpaceX

Deep learning is a form of machine learning that enables computers to learn from experience and understand the world in terms of a hierarchy of concepts. Because the computer gathers knowledge from experience, there is no need for a human computer operator to formally specify all the knowledge that the computer needs. The hierarchy of concepts allows the computer to learn complicated concepts by building them out of simpler ones; a graph of these hierarchies would be many layers deep. This book introduces a broad range of topics in deep learning.

The text offers mathematical and conceptual background, covering relevant concepts in linear algebra, probability theory and information theory, numerical computation, and machine learning. It describes deep learning techniques used by practitioners in industry, including deep feedforward networks, regularization, optimization algorithms, convolutional networks, sequence modeling, and practical methodology; and it surveys such applications as natural language processing, speech recognition, computer vision, online recommendation systems, bioinformatics, and videogames. Finally, the book offers research perspectives, covering such theoretical topics as linear factor models, autoencoders, representation learning, structured probabilistic models, Monte Carlo methods, the partition function, approximate inference, and deep generative models.

Deep Learning can be used by undergraduate or graduate students planning careers in either industry or research, and by software engineers who want to begin using deep learning in their products or platforms. A website offers supplementary material for both readers and instructors.

作者简介

Ian Goodfellow is Research Scientist at OpenAI. Yoshua Bengio is Professor of Computer Science at the Université de Montréal. Aaron Courville is Assistant Professor of Computer Science at the Université de Montréal.

目录信息

Acknowledgments xv
Notation xix
1 Introduction 1
1.1 Who Should Read This Book? 8
1.2 Historical Trend sin Deep Learning 12
I Applied Math and Machine Learning Basics 27
2 Linear Algebra 29
2.1 Scalars, Vectors, Matrices and Tensors 29
2.2 Multiplying Matricesand Vectors 32
2.3 Identity and Inverse Matrices 34
2.4 Linear Dependence and Span 35
2.5 Norms 36
2.6 Special Kinds of Matrices and Vectors 38
2.7 Eigendecomposition 39
2.8 Singular Value Decomposition 42
2.9 The Moore-Penrose Pseudoinverse 43
2.10 The Trace Operator 44
2.11 The Determinant 45
2.12 Example: Principal Components Analysis 45
3 Probability and Information Theory 51
3.1 Why Probability? 52
3.2 Random Variables 54
3.3 Probability Distributions 54
3.4 Marginal Probability 56
3.5 ConditionalProbability 57
3.6 The Chain Rule of Conditional Probabilities 57
3.7 Independence and Conditional Independence 58
3.8 Expectation, Varianceand Covariance 58
3.9 Common Probability Distributions 60
3.10 UsefulPropertiesofCommonFunctions 65
3.11 Bayes’Rule 68
3.12 Technical Details of Continuous Variables 68
3.13 Information Theory 70
3.14 Structured Probabilistic Models 74
4 Numerical Computation 77
4.1 Overflow and Underflow 77
4.2 Poor Conditioning 79
4.3 Gradient-Based Optimization 79
4.4 Constrained Optimization 89
4.5 Example: Linear Least Squares 92
5 Machine Learning Basics 95
5.1 Learning Algorithms 96
5.2 Capacity, Overfitting and Underfitting 107
5.3 Hyperparameters and Validation Sets 117
5.4 Estimators, Bias and Variance 119
5.5 Maximum Likelihood Estimation 128
5.6 BayesianStatistics132
5.7 Supervised Learning Algorithms 136
5.8 Unsupervised Learning Algorithms142
5.9 StochasticGradientDescent 147
5.10 Building a Machine Learning Algorithm 149
5.11 Challenges Motivating Deep Learning 151
II Deep Networks: Modern Practices 161
6 Deep Feedforward Networks 163
6.1 Example:Learning XOR 166
6.2 Gradient-Based Learning 171
6.3 Hidden Units 185
6.4 Architecture Design 191
6.5 Back-Propagation and Other Dierentiation Algorithms 197
6.6 Historical Notes 217
7 Regularization for Deep Learning 221
7.1 Parameter Norm Penalties 223
7.2 Norm Penalties as Constrained Optimization 230
7.3 Regularization and Under-Constrained Problems 232
7.4 Dataset Augmentation 233
7.5 Noise Robustness 235
7.6 Semi-Supervised Learning236
7.7 Multitask Learning 237
7.8 Early Stopping 239
7.9 Parameter Tying and Parameter Sharing 246
7.10 Sparse Representations 247
7.11 Bagging and Other Ensemble Methods 249
7.12 Dropout 251
7.13 Adversarial Training261
7.14 Tangent Distance, Tangent Prop and Manifold Tangent Classiffer 263
8 Optimization for Training DeepModels 267
8.1 How Learning Differs from Pure Optimization 268
8.2 Challenges in Neural Network Optimization 275
8.3 Basic Algorithms 286
8.4 Parameter Initialization Strategies 292
8.5 Algorithms with Adaptive Learning Rates 298
8.6 Approximate Second-Order Methods 302
8.7 Optimization Strategies and Meta-Algorithms 309
9 Convolutional Networks 321
9.1 The Convolution Operation 322
9.2 Motivation 324
9.3 Pooling 330
9.4 Convolution and Pooling as an Infinitely Strong Prior 334
9.5 Variants of the Basic Convolution Function 337
9.6 Structured Outputs 347
9.7 Data Types 348
9.8 Efficient Convolution Algorithms 350
9.9 Random or Unsupervised Features 351
9.10 The Neuroscientific Basis for Convolutional Networks 353
9.11 Convolutional Networks and the History of Deep Learning 359
10 Sequence Modeling: Recurrent and Recursive Nets 363
10.1 Unfolding Computational Graphs 365
10.2 Recurrent Neural Networks 368
10.3 Bidirectional RNNs 383
10.4 Encoder-Decoder Sequence-to-Sequence Architectures 385
10.5 Deep Recurrent Networks 387
10.6 Recursive Neural Networks 388
10.7 The Challenge of Long-Term Dependencies 390
10.8 Echo State Networks 392
10.9 Leaky Units and Other Strategies for Multiple Time Scales 395
10.10 The Long Short-Term Memory and Other Gated RNNs 397
10.11 Optimization for Long-Term Dependencies 401
10.12 Explicit Memory 405
11 Practical Methodology 409
11.1 Performance Metrics 410
11.2 DefaultBaselineModels 413
11.3 Determining Whether to Gather More Data 414
11.4 Selecting Hyperparameters 415
11.5 Debugging Strategies 424
11.6 Example: Multi-Digit Number Recognition 428
12 Applications 431
12.1 Large-Scale Deep Learning 431
12.2 Computer Vision.440
12.3 Speech Recognition 446
12.4 Natural Language Processing 448
12.5 Other Applications 465
III Deep Learning Research 475
13 Linear Factor Models 479
13.1 Probabilistic PCA and Factor Analysis 480
13.2 Independent Component Analysis (ICA) 481
13.3 Slow Feature Analysis.484
13.4 Sparse Coding 486
13.5 Manifold Interpretation of PCA 489
14 Autoencoders 493
14.1 Undercomplete Autoencoders 494
14.2 Regularized Autoencoders 495
14.3 Representational Power, Layer Size and Depth 499
14.4 Stochastic Encodersand Decoders 500
14.5 Denoising Autoencoders501
14.6 Learning Manifolds with Autoencoders 506
14.7 Contractive Autoencoders 510
14.8 Predictive Sparse Decomposition 514
14.9 Applications of Autoencoders515
15 Representation Learning 517
15.1 Greedy Layer-Wise Unsupervised Pretraining 519
15.2 Transfer Learning and Domain Adaptation 526
15.3 Semi-Supervised Disentangling of Causal Factors 532
15.4 Distributed Representation 536
15.5 Exponential Gains from Depth 543
15.6 Providing Clues to Discover Underlying Causes 544
16 Structured Probabilistic Models for Deep Learning 549
16.1 The Challenge of Unstructured Modeling 550
16.2 Using Graphs to Describe Model Structure 554
16.3 Sampling from Graphical Models 570
16.4 Advantages of Structured Modeling 572
16.5 Learning about Dependencies 572
16.6 Inferenceand Approximate Inference 573
16.7 The Deep Learning Approach to Structured Probabilistic Models 575
17 Monte Carlo Methods 581
17.1 Sampling and Monte Carlo Methods 581
17.2 Importance Sampling 583
17.3 Markov Chain Monte Carlo Methods 586
17.4 Gibbs Sampling 590
17.5 The Challenge of Mixing between Separated Modes 591
18 Confronting the Partition Function 597
18.1 The Log-Likelihood Gradient 598
18.2 Stochastic Maximum Likelihood and Contrastive Divergence 599
18.3 Pseudolikelihood 607
18.4 Score Matching and Ratio Matching 609
18.5 DenoisingScore Matching 611
18.6 Noise-Contrastive Estimation 612
18.7 Estimatingthe Partition Function 614
19 Approximate Inference 623
19.1 Inferenceas Optimization 624
19.2 Expectation Maximization 626
19.3 MAP Inferenceand Sparse Coding 627
19.4 Variational Inferenceand Learning 629
19.5 Learned Approximate Inference 642
20 Deep Generative Models 645
20.1 Boltzmann Machines 645
20.2 Restricted Boltzmann Machines 647
20.3 Deep Belief Networks 651
20.4 Deep Boltzmann Machines 654
20.5 Boltzmann Machines for Real-Valued Data 667
20.6 Convolutional Boltzmann Machines 673
20.7 Boltzmann Machines for Structured or Sequential Outputs 675
20.8 Other Boltzmann Machines.677
20.9 Back-Propagation through Random Operations 678
20.10 Directed Generative Nets 682
20.11 Drawing Samples from Autoencoders 701
20.12 Generative Stochastic Networks 704
20.13 Other Generation Schemes 706
20.14 Evaluating Generative Models 707
20.15 Conclusion 710
Bibliography 711
Index 767
· · · · · · (收起)

读后感

书很好，虽然价格感人，但是绝对是值得的。 唉，豆瓣必须140字。这本书亚马逊有卖，就不要去淘宝买了，说多了都是泪。 本书的文献比较多，如果有时间不妨去看看，大神使用的文献也是相当经典的。数了一下，页数也不少，如果没有耐心，直接看deep learningnet 的入门文献。 相当...  

这本书全面了介绍了深度学习的主要方面，包括基础的数学基知识和机器学习知识，深度学习的实践部分，以及深度学习的理论研究部分。全书组织结构清晰，由浅入深地循序渐进的介绍了深度学习的各个部分。实践部分包括了经典的CNN, RNN等神经网络，理论研究部分包括了经典的RBM，DB...  

书很好，虽然价格感人，但是绝对是值得的。 唉，豆瓣必须140字。这本书亚马逊有卖，就不要去淘宝买了，说多了都是泪。 本书的文献比较多，如果有时间不妨去看看，大神使用的文献也是相当经典的。数了一下，页数也不少，如果没有耐心，直接看deep learningnet 的入门文献。 相当...  

标准的国内高校出书，拉几个学生翻译，自己改一改就出版了。这个翻译真的是直译，比机翻好一些，有的语序都是英文原版的，看的非常费劲。内容方面倒是还行，相对来说比较容易入门。更推荐机械工业出版社的《神经网络与机器学习》这本书，在数学和公式推导方面更清楚，讲的也比...  

用户评价

这本书给我带来的惊喜，在于它将深度学习这个庞大而复杂的领域，梳理得井井有条，条理清晰。我之前接触过一些与人工智能相关的书籍，但很多都显得杂乱无章，让人难以抓住重点。这本书的结构设计非常合理，每一章节都围绕着一个核心概念展开，并且层层递进，让读者能够顺畅地理解整个知识体系。我特别喜欢书中对不同深度学习模型的介绍，比如CNN、RNN、Transformer等，作者都分别详细讲解了它们的设计思想、核心原理以及适用场景。而且，在讲解这些模型时，书中都提供了大量的图示和伪代码，这对于我这样的初学者来说，是非常宝贵的资源，让我能够更直观地理解算法的细节。更重要的是，这本书并没有回避深度学习的难点，而是用一种非常耐心和易懂的方式进行了解释，比如在介绍反向传播算法时，作者就非常细致地讲解了其数学推导过程，并配以通俗易懂的解释，让我能够真正理解其背后的原理。

这本书给我的感觉就像是解锁了我对机器学习世界的新视角。我一直觉得深度学习听起来很厉害，但总是感觉它离我非常遥远，像是属于那些顶尖科学家和工程师的领域。这本书却以一种非常友好的方式，循序渐进地引导我进入了这个领域。作者在开篇就用了非常巧妙的方式，让我理解了深度学习与传统机器学习的区别，以及它为何能在近年取得了如此惊人的成就。我印象深刻的是，他用了一个“黑箱”的比喻来形容早期的一些机器学习模型，而深度学习则像是逐渐打开了这个黑箱，让我们能看到内部运作的规律。而且，书中对各种算法的解释，不像我之前读过的某些书籍那样，上来就是一大堆公式，而是通过清晰的图示和生动的语言，让我能够直观地理解算法的逻辑。例如，在解释梯度下降时，作者就用了一个在山坡上寻找最低点来比喻，非常容易理解。这本书也让我看到了深度学习在各个领域的广泛应用，从医疗诊断到自动驾驶，让我对未来的科技发展有了更深的期待。

这本书就像一本打开了新世界大门的钥匙，让我对“深度学习”这个概念有了前所未有的清晰认识。我一直对人工智能领域很感兴趣，但总觉得那些高深的理论和复杂的算法像一层厚厚的迷雾，难以触及。这本书的出现，就像有人为我拨开了云雾，让我看到了清晰的脉络。它没有一开始就堆砌那些晦涩难懂的数学公式，而是从最基础的概念讲起，用非常生动形象的比喻来解释那些核心思想。我记得其中一个比喻，把神经网络比作人脑的学习过程，从简单的感知到复杂的推理，每一步都搭建得非常自然。而且，作者在解释某些关键技术时，比如反向传播算法，并没有直接抛出公式，而是先讲述它解决的问题，再逐步引导读者理解其原理，甚至还穿插了一些历史故事，让你知道为什么会有这样的技术出现，以及它解决了前人哪些难题。这让我在学习过程中，不仅理解了“是什么”，更理解了“为什么”，这种深度和广度的结合，让我觉得这本书不仅仅是技术手册，更像是一本引人入胜的科普读物。我尤其喜欢它在介绍不同类型的神经网络时，都配有相应的应用场景，比如图像识别、自然语言处理等等，这让我能够直观地感受到深度学习的强大力量，也激发了我进一步探索的兴趣。

我一直以为深度学习是属于那种“只可远观不可亵玩”的高深技术，但这本书彻底改变了我的看法。它就像一位和蔼的向导，带我一步步地走进了深度学习的殿堂。书中没有使用太多生僻的术语，而是用大量生活化的例子来解释那些复杂的概念。我记得在介绍神经网络的权重和偏置时，作者就用“给学生打分的老师”来比喻，形象地说明了这些参数在模型学习过程中的作用。而且，这本书最大的特点在于它的实践性。它不仅仅停留在理论层面，还提供了很多代码示例和实际操作的指导。我按照书中的步骤，真的能够成功地搭建并训练一些简单的深度学习模型，这让我获得了巨大的成就感。作者在讲解过程中，也会分享一些自己在实际项目中遇到的挑战和经验，这让这本书充满了人情味，也让我觉得自己在学习过程中并不孤单。这本书让我真切地感受到，深度学习并不是高不可攀的，只要有正确的引导和方法，每个人都有可能掌握这项强大的技术。

读完这本书，我感觉自己仿佛被拉入了深度学习的“内行”圈子。它不像我之前看过的很多教材，上来就讲数学推导，让人望而却步。这本书的语言风格非常平实，更像是和一位经验丰富的老师在进行一次深入的交流。作者在讲解复杂的模型时，总是会先从一个简单的情景出发，比如如何让机器“看懂”一张图片，然后逐步引入更复杂的概念，比如卷积层、池化层等等。他解释这些层的作用时，会用非常接地气的例子，比如把卷积核比作一个“放大镜”，专门寻找图片中的特定特征。而且，我特别欣赏的是，这本书并没有仅仅停留在理论层面，而是花费了大量的篇幅来介绍实际操作中的技巧和注意事项。比如，在讲解模型训练时，作者会详细说明如何选择合适的损失函数，如何调整学习率，以及如何处理过拟合和欠拟合等问题。这些都是在实际项目中非常关键的环节，很多时候比理论本身更重要。我记得有一个章节详细讲解了如何进行数据预处理，以及如何有效地利用GPU进行加速，这些实用性的内容让我觉得这本书真的非常贴近实际应用，也让我对自己的项目充满了信心。

这本书写得不仅用心，也良心（网上免费发布）。这三个月几乎所有业余时间都耗这书上，系统学习的感觉就是爽。终于可以开始动手了，我的键盘早已饥渴难耐。哈哈~

好多地方看不懂。有些章节感觉讲的不如维基百科和某些博客讲的清楚

粗略读完前两部分，对深度学习有了更进一步的了解。大量的数学和概率计算，还有各种网络连接模型，总的来说，读得辛苦，不过还是窥见不少有意思的机器智能表示逻辑，像局部特征、记忆存储、编码解码。更多的技巧在如何优化计算过程，推动梯度下降逐步优化求解，真心了不起。

目前学习深度学习的必读书目了

很好的一本书，同时具备细节和high level的描述。cover了各个程度对deep learning的理解需求