统计机器学习导论

出版者:机械工业出版社

作者:杉山将

页数:352

译者:谢宁

出版时间:2018-5-1

价格:0

isbn号码:9787111596790

丛书系列:数据科学与工程技术丛书

具体描述

本书对机器学习的关键知识点进行了全面讲解，帮助读者顺利完成从理论到实践的过渡。书中首先介绍用于描述机器学习算法的统计与概率的知识，接着详细分析机器学习技术的两类主要方法——生成方法和判别方法，后深入研究了如何使机器学习算法在实际应用中发挥更大的作用。本书提供程序源代码，便于读者进行数据分析实践。本书适合高等院校计算机、统计等专业的研究生和高年级本科生阅读，同时也适合相关领域的技术人员参考。

作者简介

Masashi Sugiyama，东京大学教授，拥有东京工业大学计算机科学博士学位，研究兴趣包括机器学习与数据挖掘的理论、算法和应用，涉及信号处理、图像处理、机器人控制等。2007年获得IBM学者奖，以表彰其在机器学习领域非平稳性方面做出的贡献。2011年获得日本信息处理协会颁发的Nagao特别研究奖，以及日本文部科学省颁发的青年科学家奖，以表彰其对机器学习密度比范型的贡献。

目录信息

目录
译者序
前言
作者简介
第一部分绪论
第1章统计机器学习
1.1学习的类型
1.2机器学习任务举例
1.2.1监督学习
1.2.2非监督学习
1.2.3进一步的主题
1.3本书结构
第二部分概率与统计
第2章随机变量与概率分布
2.1数学基础
2.2概率
2.3随机变量和概率分布
2.4概率分布的性质
2.4.1期望、中位数和众数
2.4.2方差和标准差
2.4.3偏度、峰度和矩
2.5随便变量的变换
第3章离散概率分布的实例
3.1离散均匀分布
3.2二项分布
3.3超几何分布
3.4泊松分布
3.5负二项分布
3.6几何分布
第4章连续概率分布的实例
4.1连续均匀分布
4.2正态分布
4.3伽马分布、指数分布和卡方分布
4.4Beta分布
4.5柯西分布和拉普拉斯分布
4.6t分布和F分布
第5章多维概率分布
5.1联合概率分布
5.2条件概率分布
5.3列联表
5.4贝叶斯定理
5.5协方差与相关性
5.6独立性
第6章多维概率分布的实例
6.1多项分布
6.2多元正态分布
6.3狄利克雷分布
6.4威沙特分布
第7章独立随机变量之和
7.1卷积
7.2再生性
7.3大数定律
7.4中心极限定理
第8章概率不等式
8.1联合界
8.2概率不等式
8.2.1马尔可夫不等式和切尔诺夫不等式
8.2.2坎泰利不等式和切比雪夫不等式
8.3期望不等式
8.3.1琴生不等式
8.3.2赫尔德不等式和施瓦茨不等式
8.3.3闵可夫斯基不等式
8.3.4康托洛维奇不等式
8.4独立随机变量和的不等式
8.4.1切比雪夫不等式和切尔诺夫不等式
8.4.2霍夫丁不等式和伯恩斯坦不等式
8.4.3贝内特不等式
第9章统计估计
9.1统计估计基础
9.2点估计
9.2.1参数密度估计
9.2.2非参数密度估计
9.2.3回归和分类
9.2.4模型选择
9.3区间估计
9.3.1基于正态样本期望的区间估计
9.3.2bootstrap置信区间
9.3.3贝叶斯置信区间
第10章假设检验
10.1假设检验基础
10.2正态样本期望的检验
10.3尼曼皮尔森引理
10.4列联表检验
10.5正态样本期望差值检验
10.5.1无对应关系的两组样本
10.5.2有对应关系的两组样本
10.6秩的无参检验
10.6.1无对应关系的两组样本
10.6.2有对应关系的两组样本
10.7蒙特卡罗检验
第三部分统计模式识别的生成式方法
第11章通过生成模型估计的模式识别
11.1模式识别的公式化
11.2统计模式识别
11.3分类器训练的准则
11.3.1最大后验概率规则
11.3.2最小错误分类率准则
11.3.3贝叶斯决策规则
11.3.4讨论
11.4生成式方法和判别式方法
第12章极大似然估计
12.1定义
12.2高斯模型
12.3类后验概率的计算
12.4Fisher线性判别分析
12.5手写数字识别
12.5.1预备知识
12.5.2线性判别分析的实现
12.5.3多分类器方法
第13章极大似然估计的性质
13.1一致性
13.2渐近无偏性
13.3渐近有效性
13.3.1一维的情况
13.3.2多维的情况
13.4渐近正态性
13.5总结
第14章极大似然估计的模型选择
14.1模型选择
14.2KL散度
14.3AIC信息论准则
14.4交叉检验
14.5讨论
第15章高斯混合模型的极大似然估计
15.1高斯混合模型
15.2极大似然估计
15.3梯度上升算法
15.4EM算法
第16章非参数估计
16.1直方图方法
16.2问题描述
16.3核密度估计
16.3.1Parzen 窗法
16.3.2利用核的平滑
16.3.3带宽的选择
16.4最近邻密度估计
16.4.1最近邻距离
16.4.2最近邻分类器
第17章贝叶斯推理
17.1贝叶斯预测分布
17.1.1定义
17.1.2与极大似然估计的比较
17.1.3计算问题
17.2共轭先验
17.3最大后验估计
17.4贝叶斯模型选择
第18章边缘相似的解析近似
18.1拉普拉斯近似
18.1.1高斯密度估计
18.1.2例证
18.1.3应用于边际似然逼近
18.1.4贝叶斯信息准则
18.2变分近似
18.2.1变分贝叶斯最大期望算法
18.2.2与一般最大期望法的关系
第19章预测分布的数值近似
19.1蒙特卡罗积分
19.2重要性采样
19.3采样算法
19.3.1逆变换采样
19.3.2拒绝采样
19.3.3马尔可夫链蒙特卡罗方法
第20章贝叶斯混合模型
20.1高斯混合模型
20.1.1贝叶斯公式化
20.1.2变分推断
20.1.3吉布斯采样
20.2隐狄利克雷分配模型
20.2.1主题模型
20.2.2贝叶斯公式化
20.2.3吉布斯采样
第四部分统计机器学习的判别式方法
第21章学习模型
21.1线性参数模型
21.2核模型
21.3层次模型
第22章最小二乘回归
22.1最小二乘法
22.2线性参数模型的解决方案
22.3最小二乘法的特性
22.4大规模数据的学习算法
22.5层次模型的学习算法
第23章具有约束的最小二乘回归
23.1子空间约束的最小二乘
23.22约束的最小二乘
23.3模型选择
第24章稀疏回归
24.11约束的最小二乘
24.2解决1约束的最小二乘
24.3稀疏学习的特征选择
24.4若干扩展
24.4.1广义1约束最小二乘
24.4.2p约束最小二乘
24.4.31+2约束最小二乘
24.4.41,2约束最小二乘
24.4.5迹范数约束最小二乘
第25章稳健回归
25.12损失最小化的非稳健性
25.21损失最小化
25.3Huber损失最小化
25.3.1定义
25.3.2随机梯度算法
25.3.3迭代加权最小二乘
25.3.41约束Huber损失最小化
25.4Tukey 损失最小化
第26章最小二乘分类器
26.1基于最小二乘回归的分类器
26.20/1损失和间隔
· · · · · · (收起)

用户评价

最让我感到惊喜的是，这本书对“统计学基础”的处理方式。它没有将其视为一个需要绕开的障碍，而是将其巧妙地融入到机器学习的框架之中。在讲解回归模型时，它没有直接跳到最小二乘法，而是先花篇幅回顾了概率论中的大数定律和中心极限定理，并清晰地阐明了这些统计学概念如何为线性模型的稳健性提供了理论支撑。这种先夯实根基再构建上层建筑的教学方法，极大地增强了我对模型假设的理解深度。读完后，面对一些新的、不熟悉的模型，我不再是盲目地套用公式，而是能本能地去审视其背后的统计学假设是否与我的数据特性相符。这彻底改变了我看待和应用这些工具的方式，从一个“调参工匠”提升到了一个“理论思考者”的层面。

从实战应用的角度来看，这本书的理论指导性极强，但它避免了陷入纯粹的工程代码实现细节，这恰恰是它高明之处。它提供的是一种“思维框架”，而非一套固定的“代码库”。在讨论模型评估与选择时，作者详细剖析了交叉验证、Bootstrap等方法的内在假设和局限性，并提供了非常审慎的建议，指导读者如何在真实、嘈杂的数据环境中做出最合理的工程决策。例如，在处理不平衡数据集时，它不仅提到了SMOTE等采样技术，更重要的是引导读者思考业务目标与模型指标之间的权衡。这种将理论与实际应用场景紧密结合的写作风格，让初学者不会因为看到太多底层实现而感到迷茫，又能让有经验的开发者从中找到可以优化现有工作流的思路。

这本书在介绍基础概念时，那种层层递进的逻辑构建，简直是教科书级别的典范。它没有一开始就抛出复杂的公式，而是用非常直观的例子和类比，将“特征”、“标签”、“模型”这些抽象的东西具象化。比如，它在解释偏差-方差权衡时，不再是枯燥地搬运数学定义，而是引用了日常生活中的决策场景，让人茅塞顿开。我对它处理“过拟合”和“欠拟合”的方式印象尤为深刻，作者似乎深谙初学者的痛点，总能在关键节点上提供一个精妙的视角转换，让那些原本晦涩难懂的理论，变得触手可及。读完这个部分，我感觉自己不再是抱着一本冰冷的算法手册，而是有了一个经验丰富的导师，在旁边耐心指点江山。它对不同算法的适用性边界也描述得非常到位，不会让人产生“万能钥匙”的错觉，这点对建立严谨的科学思维至关重要。

作者在讲述算法演进的历史脉络时，展现了非常深厚的学术功底和叙事能力。它不仅仅是罗列了各个算法的诞生时间点，而是深入挖掘了驱动这些理论发展的核心科学问题和时代背景。例如，在介绍早期的感知机模型时，作者穿插了当时计算能力的限制以及人类对智能认知的探讨，这使得算法的学习不再是孤立的知识点，而是嵌在了整个计算科学发展的宏大叙事之中。这种“讲故事”的手法，极大地激发了我对知识源头的探索欲。我甚至因此去查阅了相关的原始论文，这种由浅入深、由表及里的阅读体验，是许多纯粹的“操作手册”式书籍无法给予的。它教会我不仅仅是如何“使用”工具，更重要的是理解工具“为什么”会以这种方式存在。

这本书的排版和视觉呈现，无疑是近年来我阅读技术书籍中最舒服的一次体验。纸张的质感恰到好处，墨色的浓淡拿捏得十分到位，长时间阅读下来，眼睛的疲劳感明显减轻。更值得称赞的是图表的质量——那些复杂的决策树结构图、支持向量机的超平面示意图，甚至是降维过程中的数据点分布可视化，都清晰、精准，没有丝毫的模糊或失真。很多技术书籍为了追求内容深度而牺牲了阅读体验，但这本似乎找到了一个完美的平衡点。作者对图文配合的理解达到了极高的境界，很多时候，一个精心绘制的图表胜过千言万语的文字描述，它巧妙地引导读者的注意力，让复杂的数学关系在视觉上得到了直观的确认。这体现了出版团队对细节的极致追求，让人感到物有所值。