Python机器学习算法

出版者:电子工业出版社

作者:赵志勇

页数:364

出版时间:2017-7

价格:69.00

装帧:平装

isbn号码:9787121313196

丛书系列:博文视点AI系列

具体描述

《Python机器学习算法》是一本机器学习入门读物，注重理论与实践的结合。全书主要包括6个部分，每个部分均以典型的机器学习算法为例，从算法原理出发，由浅入深，详细介绍算法的理论，并配合目前流行的Python语言，从零开始，实现每一个算法，以加强对机器学习算法理论的理解、增强实际的算法实践能力，最终达到熟练掌握每一个算法的目的。与其他机器学习类图书相比，《Python机器学习算法》同时包含算法理论的介绍和算法的实践，以理论支撑实践，同时，又将复杂、枯燥的理论用简单易懂的形式表达出来，促进对理论的理解。

目录信息

0 绪论 1
0.1 机器学习基础 1
0.1.1 机器学习的概念 1
0.1.2 机器学习算法的分类 2
0.2 监督学习 3
0.2.1 监督学习 3
0.2.2 监督学习的流程 3
0.2.3 监督学习算法 4
0.3 无监督学习 4
0.3.1 无监督学习 4
0.3.2 无监督学习的流程 4
0.3.3 无监督学习算法 5
0.4 推荐系统和深度学习 6
0.4.1 推荐系统 6
0.4.2 深度学习 6
0.5 Python和机器学习算法实践 6
参考文献 7
第一部分 分类算法
1 Logistic Regression 10
1.1 Logistic Regression模型 10
1.1.1 线性可分VS线性不可分 10
1.1.2 Logistic Regression模型 11
1.1.3 损失函数 13
1.2 梯度下降法 14
1.2.1 梯度下降法的流程 14
1.2.2 凸优化与非凸优化 15
1.2.3 利用梯度下降法训练Logistic Regression模型 17
1.3 梯度下降法的若干问题 18
1.3.1 选择下降的方向 18
1.3.2 步长的选择 19
1.4 Logistic Regression算法实践 20
1.4.1 利用训练样本训练Logistic Regression模型 20
1.4.2 最终的训练效果 22
1.4.3 对新数据进行预测 23
参考文献 26
2 Softmax Regression 27
2.1 多分类问题 27
2.2 Softmax Regression算法模型 28
2.2.1 Softmax Regression模型 28
2.2.2 Softmax Regression算法的代价函数 28
2.3 Softmax Regression算法的求解 29
2.4 Softmax Regression与Logistic Regression的关系 31
2.4.1 Softmax Regression中的参数特点 31
2.4.2 由Softmax Regression到Logistic Regression 31
2.5 Softmax Regression算法实践 32
2.5.1 对Softmax Regression算法的模型进行训练 33
2.5.2 最终的模型 34
2.5.3 对新的数据的预测 35
参考文献 39
3 Factorization Machine 40
3.1 Logistic Regression算法的不足 40
3.2 因子分解机FM的模型 42
3.2.1 因子分解机FM模型 42
3.2.2 因子分解机FM可以处理的问题 43
3.2.3 二分类因子分解机FM算法的损失函数 43
3.3 FM算法中交叉项的处理 43
3.3.1 交叉项系数 43
3.3.2 模型的求解 44
3.4 FM算法的求解 45
3.4.1 随机梯度下降（Stochastic Gradient Descent） 45
3.4.2 基于随机梯度的方式求解 45
3.4.3 FM算法流程 46
3.5 因子分解机FM算法实践 49
3.5.1 训练FM模型 50
3.5.2 最终的训练效果 53
3.5.3 对新的数据进行预测 55
参考文献 57
4 支持向量机 58
4.1 二分类问题 58
4.1.1 二分类的分隔超平面 58
4.1.2 感知机算法 59
4.1.3 感知机算法存在的问题 61
4.2 函数间隔和几何间隔 61
4.2.1 函数间隔 62
4.2.2 几何间隔 62
4.3 支持向量机 63
4.3.1 间隔最大化 63
4.3.2 支持向量和间隔边界 64
4.3.3 线性支持向量机 65
4.4 支持向量机的训练 66
4.4.1 学习的对偶算法 66
4.4.2 由线性支持向量机到非线性支持向量机 68
4.4.3 序列最小最优化算法SMO 69
4.5 支持向量机SVM算法实践 74
4.5.1 训练SVM模型 74
4.5.2 利用训练样本训练SVM模型 81
4.5.3 利用训练好的SVM模型对新数据进行预测 85
参考文献 88
5 随机森林 89
5.1 决策树分类器 89
5.1.1 决策树的基本概念 89
5.1.2 选择最佳划分的标准 91
5.1.3 停止划分的标准 94
5.2 CART分类树算法 95
5.2.1 CART分类树算法的基本原理 95
5.2.2 CART分类树的构建 95
5.2.3 利用构建好的分类树进行预测 98
5.3 集成学习（Ensemble Learning） 99
5.3.1 集成学习的思想 99
5.3.2 集成学习中的典型方法 99
5.4 随机森林（Random Forests） 101
5.4.1 随机森林算法模型 101
5.4.2 随机森林算法流程 102
5.5 随机森林RF算法实践 104
5.5.1 训练随机森林模型 105
5.5.2 最终的训练结果 109
5.5.3 对新数据的预测 110
参考文献 113
6 BP神经网络 114
6.1 神经元概述 114
6.1.1 神经元的基本结构 114
6.1.2 激活函数 115
6.2 神经网络模型 116
6.2.1 神经网络的结构 116
6.2.2 神经网络中的参数说明 117
6.2.3 神经网络的计算 117
6.3 神经网络中参数的求解 118
6.3.1 神经网络损失函数 118
6.3.2 损失函数的求解 119
6.3.3 BP神经网络的学习过程 120
6.4 BP神经网络中参数的设置 126
6.4.1 非线性变换 126
6.4.2 权重向量的初始化 126
6.4.3 学习率 127
6.4.4 隐含层节点的个数 127
6.5 BP神经网络算法实践 127
6.5.1 训练BP神经网络模型 128
6.5.2 最终的训练效果 132
6.5.3 对新数据的预测 133
参考文献 136
第二部分 回归算法
7 线性回归 138
7.1 基本线性回归 138
7.1.1 线性回归的模型 138
7.1.2 线性回归模型的损失函数 139
7.2 线性回归的最小二乘解法 140
7.2.1 线性回归的最小二乘解法 140
7.2.2 广义逆的概念 141
7.3 牛顿法 141
7.3.1 基本牛顿法的原理 141
7.3.2 基本牛顿法的流程 142
7.3.3 全局牛顿法 142
7.3.4 Armijo搜索 144
7.3.5 利用全局牛顿法求解线性回归模型 145
7.4 利用线性回归进行预测 146
7.4.1 训练线性回归模型 147
7.4.2 最终的训练结果 149
7.4.3 对新数据的预测 150
7.5 局部加权线性回归 152
7.5.1 局部加权线性回归模型 152
7.5.2 局部加权线性回归的最终结果 153
参考文献 154
8 岭回归和Lasso回归 155
8.1 线性回归存在的问题 155
8.2 岭回归模型 156
8.2.1 岭回归模型 156
8.2.2 岭回归模型的求解 156
8.3 Lasso回归模型 157
8.4 拟牛顿法 158
8.4.1 拟牛顿法 158
8.4.2 BFGS校正公式的推导 158
8.4.3 BFGS校正的算法流程 159
8.5 L-BFGS求解岭回归模型 162
8.5.1 BGFS算法存在的问题 162
8.5.2 L-BFGS算法思路 162
8.6 岭回归对数据的预测 165
8.6.1 训练岭回归模型 166
8.6.2 最终的训练结果 168
8.6.3 利用岭回归模型预测新的数据 168
参考文献 171
9 CART树回归 172
9.1 复杂的回归问题 172
9.1.1 线性回归模型 172
9.1.2 局部加权线性回归 173
9.1.3 CART算法 174
9.2 CART回归树生成 175
9.2.1 CART回归树的划分 175
9.2.2 CART回归树的构建 177
9.3 CART回归树剪枝 179
9.3.1 前剪枝 179
9.3.2 后剪枝 180
9.4 CART回归树对数据预测 180
9.4.1 利用训练数据训练CART回归树模型 180
9.4.2 最终的训练结果 182
9.4.3 利用训练好的CART回归树模型对新的数据预测 185
参考文献 187
第三部分 聚类算法
10 K-Means 190
10.1 相似性的度量 190
10.1.1 闵可夫斯基距离 191
10.1.2 曼哈顿距离 191
10.1.3 欧氏距离 191
10.2 K-Means算法原理 192
10.2.1 K-Means算法的基本原理 192
10.2.2 K-Means算法步骤 193
10.2.3 K-Means算法与矩阵分解 193
10.3 K-Means算法实践 195
10.3.1 导入数据 196
10.3.2 初始化聚类中心 197
10.3.3 聚类过程 198
10.3.4 最终的聚类结果 199
10.4 K-Means++算法 200
10.4.1 K-Means算法存在的问题 200
10.4.2 K-Means++算法的基本思路 202
10.4.3 K-Means++算法的过程和最终效果 204
参考文献 205
11 Mean Shift 206
11.1 Mean Shift向量 206
11.2 核函数 207
11.3 Mean Shift算法原理 209
11.3.1 引入核函数的Mean Shift向量 209
11.3.2 Mean Shift算法的基本原理 210
11.4 Mean Shift算法的解释 212
11.4.1 概率密度梯度 212
11.4.2 Mean Shift向量的修正 213
11.4.3 Mean Shift算法流程 213
11.5 Mean Shift算法实践 217
11.5.1 Mean Shift的主过程 218
11.5.2 Mean Shift的最终聚类结果 219
参考文献 221
12 DBSCAN 222
12.1 基于密度的聚类 222
12.1.1 基于距离的聚类算法存在的问题 222
12.1.2 基于密度的聚类算法 225
12.2 DBSCAN算法原理 225
12.2.1 DBSCAN算法的基本概念 225
12.2.2 DBSCAN算法原理 227
12.2.3 DBSCAN算法流程 228
12.3 DBSCAN算法实践 231
12.3.1 DBSCAN算法的主要过程 232
12.3.2 Mean Shift的最终聚类结果 234
参考文献 236
13 Label Propagation 237
13.1 社区划分 237
13.1.1 社区以及社区划分 237
13.1.2 社区划分的算法 238
13.1.3 社区划分的评价标准 239
13.2 Label Propagation算法原理 239
13.2.1 Label Propagation算法的基本原理 239
13.2.2 标签传播 240
13.2.3 迭代的终止条件 242
13.3 Label Propagation算法过程 244
13.4 Label Propagation算法实践 244
13.4.1 导入数据 245
13.4.2 社区的划分 246
13.4.3 最终的结果 247
参考文献 248
第四部分 推荐算法
14 协同过滤算法 250
14.1 推荐系统的概述 250
14.1.1 推荐系统 250
14.1.2 推荐问题的描述 251
14.1.3 推荐的常用方法 251
14.2 基于协同过滤的推荐 252
14.2.1 协同过滤算法概述 252
14.2.2 协同过滤算法的分类 252
14.3 相似度的度量方法 253
14.3.1 欧氏距离 254
14.3.2 皮尔逊相关系数（Pearson Correlation） 254
14.3.3 余弦相似度 254
14.4 基于协同过滤的推荐算法 256
14.4.1 基于用户的协同过滤算法 256
14.4.2 基于项的协同过滤算法 258
14.5 利用协同过滤算法进行推荐 260
14.5.1 导入用户-商品数据 260
14.5.2 利用基于用户的协同过滤算法进行推荐 261
14.5.3 利用基于项的协同过滤算法进行推荐 262
参考文献 264
15 基于矩阵分解的推荐算法 265
15.1 矩阵分解 265
15.2 基于矩阵分解的推荐算法 266
15.2.1 损失函数 266
15.2.2 损失函数的求解 266
15.2.3 加入正则项的损失函数即求解方法 267
15.2.4 预测 269
15.3 利用矩阵分解进行推荐 270
15.3.1 利用梯度下降对用户商品矩阵分解和预测 270
15.3.2 最终的结果 272
15.4 非负矩阵分解 273
15.4.1 非负矩阵分解的形式化定义 274
15.4.2 损失函数 274
15.4.3 优化问题的求解 274
15.5 利用非负矩阵分解进行推荐 277
15.5.1 利用乘法规则进行分解和预测 277
15.5.2 最终的结果 278
参考文献 279
16 基于图的推荐算法 280
16.1 二部图与推荐算法 280
16.1.1 二部图 280
16.1.2 由用户商品矩阵到二部图 281
16.2 PageRank算法 282
16.2.1 PageRank算法的概念 282
16.2.2 PageRank的两个假设 283
16.2.3 PageRank的计算方法 283
16.3 PersonalRank算法 285
16.3.1 PersonalRank算法原理 285
16.3.2 PersonalRank算法的流程 286
16.4 利用PersonalRank算法进行推荐 288
16.4.1 利用PersonalRank算法进行推荐 288
16.4.2 最终的结果 291
参考文献 291
第五部分 深度学习
17 AutoEncoder 294
17.1 多层神经网络 294
17.1.1 三层神经网络模型 294
17.1.2 由三层神经网络到多层神经网络 295
17.2 AutoEncoder模型 296
17.2.1 AutoEncoder模型结构 296
17.2.2 AutoEncoder的损失函数 297
17.3 降噪自编码器Denoising AutoEncoder 298
17.3.1 Denoising AutoEncoder原理 298
17.3.2 Denoising AutoEncoder实现 299
17.4 利用Denoising AutoEncoders构建深度网络 302
17.4.1 无监督的逐层训练 302
17.4.2 有监督的微调 303
17.5 利用TensorFlow实现Stacked Denoising AutoEncoders 306
17.5.1 训练Stacked Denoising AutoEncoders模型 306
17.5.2 训练的过程 307
参考文献 308
18 卷积神经网络 309
18.1 传统神经网络模型存在的问题 309
18.2 卷积神经网络 311
18.2.1 卷积神经网络中的核心概念 311
18.2.2 卷积神经网络模型 312
18.3 卷积神经网络的求解 313
18.3.1 卷积层（Convolution Layer） 313
18.3.2 下采样层（Sub-Sampling Layer） 316
18.3.3 全连接层（Fully-Connected Layer） 316
18.4 利用TensorFlow实现CNN 316
18.4.1 CNN的实现 316
18.4.2 训练CNN模型 320
18.4.3 训练的过程 321
参考文献 321
第六部分 项目实践
19 微博精准推荐 324
19.1 精准推荐 324
19.1.1 精准推荐的项目背景 324
19.1.2 精准推荐的技术架构 325
19.1.3 离线数据挖掘 326
19.2 基于用户行为的挖掘 327
19.2.1 基于互动内容的兴趣挖掘 327
19.2.2 基于与博主互动的兴趣挖掘 328
19.3 基于相似用户的挖掘 329
19.3.1 基于“@”人的相似用户挖掘 329
19.3.2 基于社区的相似用户挖掘 329
19.3.3 基于协同过滤的相似用户挖掘 331
19.4 点击率预估 332
19.4.1 点击率预估的概念 332
19.4.2 点击率预估的方法 332
19.5 各种数据技术的效果 334
参考文献 335
附录A 336
附录B 341
· · · · · · (收起)

用户评价

令我印象深刻的是，这本书在理论和实践之间的平衡把握得近乎完美，绝非那种空谈理论的学术著作，也非那种只提供“黑箱”调参指南的速成手册。作者非常注重算法的工程实现细节，书中提供的伪代码和实际的案例代码（虽然我没有直接运行，但从结构上看）都非常贴近工业界的实际操作规范。例如，在讨论交叉验证时，书中不仅解释了K折交叉验证的原理，还详细对比了留一法和分层抽样在不同数据集上的适用性，以及如何有效处理时间序列数据的验证问题。更难能可贵的是，作者在讲解完算法核心后，往往会紧接着讨论其在真实世界中可能遇到的挑战，比如维度灾难、过拟合的缓解策略、以及计算复杂度的优化方案。这种将理论知识“落地”的尝试，使得书中的内容不仅仅停留在纸面上，而是真正转化为了可以指导实践的工具箱。对于希望将所学应用于实际项目中的读者而言，这种兼具深度和实操性的内容无疑是最宝贵的财富，它培养的不仅仅是理解能力，更是解决问题的能力。

这本书的排版和装帧设计着实让人眼前一亮，拿到手里就有一种沉甸甸的质感，感觉作者在细节上确实下了不少功夫。封面设计采用了深邃的蓝色调，搭配着抽象的数据流图形，简约而不失科技感，非常符合主题的调性。内页纸张的选用也比较考究，触感柔滑，即便是长时间阅读也不会感到眼睛疲劳。更值得称赞的是，书中对公式和代码块的排版处理得非常到位，公式的上下标清晰可辨，数学符号的间距处理得恰到好处，保证了阅读的连贯性。代码部分则采用了等宽字体，语法高亮做得非常细致，关键函数和变量名颜色区分明显，使得复杂的算法逻辑在视觉上得到了极大的简化。特别是对于初学者来说，这种精良的制作工艺无疑是降低了阅读门槛，让原本可能枯燥的学习过程变得更加愉悦和有效。作者团队在细节上的坚持，从印刷质量到字体选择，都体现出对读者的尊重和对知识传播的认真态度，这种对“物”本身的重视，在现今很多快餐式出版物中是难能可贵的，让人在翻阅的过程中，就能感受到一股匠人精神。

我得说，这本书的理论阐述深度和广度都超出了我的预期，它并没有停留在简单地罗列公式或代码片段的层面，而是真正深入到了算法背后的数学直觉和推导过程。比如，在讲解支持向量机（SVM）的推导时，作者没有直接跳到对偶问题，而是先花了大量篇幅解释了核技巧的几何意义，这对于我这种更偏向直观理解的读者来说，简直是醍醐灌顶。书中对每一种算法的“为什么”进行了详尽的探讨，而不是仅仅停留在“是什么”的层面。即便是像决策树这样看似基础的算法，书中也对信息增益、基尼不纯度的计算差异，以及剪枝策略的优劣进行了细致的对比分析，甚至引入了信息论中的熵的严格定义作为支撑。这种层层递进的讲解方式，确保了读者在掌握实现方法的同时，也能建立起坚实的理论基础，对于未来想要进行算法改进或创新研究的读者来说，这无疑提供了绝佳的跳板。作者在保持数学严谨性的同时，文字的表达却保持了一种令人惊讶的清晰度，很少出现晦涩难懂的长难句，整体阅读体验非常流畅。

这本书的作者文笔非常具有个人魅力，阅读起来简直像是在听一位经验丰富的导师在娓娓道来，而不是在啃一本枯燥的技术手册。行文风格时而严谨，剖析数学原理时一丝不苟；时而又变得非常生动活泼，通过一些巧妙的比喻来解释抽象的概念。我尤其喜欢作者在关键转折点引入的一些个人洞察，这些看似是题外话的感悟，实则是对特定算法局限性的深刻理解。比如，在批评某种过拟合现象时，作者用了一个关于“过度学习细节而忽略本质”的比喻，一下子就让这个复杂的统计学问题变得具象化了。这种富有温度和人情味的叙述方式，极大地缓解了技术学习过程中的挫败感，让学习过程充满了一种探索的乐趣。阅读体验上，作者的叙事节奏把握得很好，不会让人感到拖沓，总能在关键时刻抛出能引发思考的问题，引导读者主动去探究更深层次的原理。这种高质量的写作风格，无疑提升了这本书的收藏价值，它不再仅仅是一本工具书，更是一本可以反复品读，每次都能获得新感悟的智者之言。

这本书的章节组织结构，简直是教科书级别的典范，逻辑推进得极其自然流畅，体现了作者对整个知识体系的深刻理解和精心规划。它似乎是按照一个非常合理的“认知梯度”来设计的，从最基础的线性模型开始，稳步过渡到非线性模型，接着进入集成学习，最后才触及到更前沿的深度学习基础概念。每一章的内容都像是为下一章做了完美的铺垫，章节之间的衔接点处理得非常巧妙，很少出现突兀的知识点跳跃。比如，在介绍完梯度下降的局限性后，下一章立刻就引入了更鲁棒的优化方法，这种前后呼应的结构设计，使得学习路径非常清晰，读者不容易在庞杂的知识点中迷失方向。此外，书中还穿插了大量的“概念辨析”和“应用场景对比”的侧边栏内容，这些小插曲有效地帮助读者区分那些容易混淆但又至关重要的细节，极大地增强了知识的系统性和实用性。这种精心构建的知识地图，让读者在学习时，总能清晰地知道自己所处的位置以及前方的道路，极大地提升了学习效率和成就感。

代码有点old_school啊，不太pythonic。部分算法细节还不错。

其实能抄出一本出版的书也算厉害……

代码有点old_school啊，不太pythonic。部分算法细节还不错。

⭐️强烈不推荐！觉得就是公式的堆砌，没有逻辑。看懂这些算法需要额外查找许多资料，看这本书完全没有意义。

十分囫囵吞枣，过于浮于表面…