周志华 Tom M.Mitchell，是卡内基梅隆大学的bai教授，讲授“du机器学习”等多门课程；美国zhi人工智能协会dao（AAAL）的主席；美国《Machine Learning》杂志、国际机器学习年度会议（ICML）的创始人；多种技术杂志的撰稿人，曾发表过许多文章，出版过多本专著，是机器学习领域的著名学者。本书展示了机器学习中核心的算法和理论，并阐明了算法的运行过程。本书综合了许多的研究成果，例如统计学、人工智能、哲学、信息论、生物学、认知科学、计算复杂性和控制论等，并以此来理解问题的背景、算法和其中的隐含假定。本书可作为计算机专业 本科生、研究生教材，也可作为相关领域研究人员、教师的参考书。
链接：https://pan.baidu.com/s/1vWyvKaPJH9mkDLJzTqlteg
提取码：dfzj
第1章 1
第2章 模型评估与选择 23
2.1 经验误差与过拟合 23
2.2 评估方法 24
留出法 25
交叉验证法 26
自助法 27
2.3 性能度量 28
错误率与精度 29
查准率、查全率与F1 30
ROC与AUC 33
代价敏感错误率与代价曲线 35
2.4 比较检验 37
假设检验 37
交叉验证t检验 40
McNemar检验 41
Friedman检验与后续检验 42
2.5 偏差与方差 44
第3章 线性模型 53
3.1 基本形式 53
3.2 线性回归 53
最小二乘法 54
对数线性回归 56
3.3 对数几率回归 57
3.4 线性判别分析 60
3.5 多分类学习 63
OvO
OvR
MvM （其中一种：纠错输出码）
3.6 类别不平衡问题 66
欠采样
过采样
阈值移动
第4章 决策树 73
4.1 基本流程 73
4.2 划分选择 75
信息增益 75
增益率 77
基尼指数 79
4.3 剪枝处理 79
预剪枝 80
后剪枝 82
4.4 连续与缺失值 83
4.4.1 连续值处理 83
二分法
4.4.2 缺失值处理 85
4.5 多变量决策树 88
第5章 神经网络 97
5.1 神经元模型 97
5.2 感知机与多层网络 98
5.3 误差逆传播算法 101
5.4 全局最小与局部极小 106
5.5 其他常见神经网络 108
5.5.1 RBF网络 108
5.5.2 ART网络 108
5.5.3 SOM网络 109
5.5.4 级联相关网络 110
5.5.5 Elman网络 111
5.5.6 Boltzmann机 111
5.6 深度学习 113
第6章 支持向量机 121
6.1 间隔与支持向量 121
6.2 对偶问题 123
SMO算法
6.3 核函数 126
6.4 软间隔与正则化 129
6.5 支持向量回归 133
6.6 核方法 137
第7章 贝叶斯分类器 147
7.1 贝叶斯决策论 147
7.2 极大似然估计 149
7.3 朴素贝叶斯分类器 150
7.4 半朴素贝叶斯分类器 154
独依赖估计ODE，SPODE，TAN，AODE
7.5 贝叶斯网 156
7.5.1 结构 157
7.5.2 学习 159
7.5.3 推断 161
7.6 EM算法 162
第8章 集成学习 171
8.1 个体与集成 171
8.2 Boosting 173
AdaBoost
8.3 Bagging与随机森林 178
Bagging 178
随机森林 179
8.4 结合策略 181
平均法 181
投票法 182
学习法(如Stacking) 183
8.5 多样性 185
8.5.1 误差–分歧分解 185
8.5.2 多样性度量 186
不合度量，相关系数，QQ-统计量，κκ-统计量
8.5.3 多样性增强 188
数据样本扰动，输入属性扰动，输出表示扰动，算法参数扰动
第9章 聚类 197
9.1 聚类任务 197
9.2 性能度量 197
Jaccard系数，FM指数，Rand指数，DB指数，Dunn指数
9.3 距离计算 199
闵科夫斯基距离，欧氏距离，曼哈顿距离，VDM距离
9.4 原型聚类 202
k均值算法 202
学习向量量化 204
高斯混合聚类 206
9.5 密度聚类 211
DBSCAN算法
9.6 层次聚类 214
AGNES算法
第10章 降维与度量学习 225
10.1 k近邻学习 225
10.2 低维嵌入 226
MDS算法
10.3 主成分分析 229
10.4 核化线性降维 232
10.5 流形学习 234
10.5.1 等度量映射 234
Isomap算法
10.5.2 局部线性嵌入 235
LLE算法
10.6 度量学习 237
第11章 特征选择与稀疏学习 247
11.1 子集搜索与评价 247
11.2 过滤式选择 249
Relief算法
11.3 包裹式选择 250
LVW算法
11.4 嵌入式选择与L11正则化 252
岭回归
LASSO
11.6 压缩感知 257
RIP
矩阵补全
第12章 计算学习理论 267
12.1 基础知识 267
12.2 PAC学习 268
12.3 有限假设空间 270
12.3.1 可分情形 270
12.3.2 不可分情形 272
12.4 VC维 273
12.5 Rademacher复杂度 279
12.6 稳定性 284
第13章 半监督学习 293
13.1 未标记样本 293
13.2 生成式方法 295
13.3 半监督SVM 298
TSVM
13.4 图半监督学习 300
迭代式标记传播算法
13.5 基于分歧的方法 304
协同训练算法
13.6 半监督聚类 307
约束kk均值算法
约束种子kk均值算法
第14章 概率图模型 319
14.1 隐马尔可夫模型 319
14.2 马尔可夫随机场 322
14.3 条件随机场 325
14.4 学习与推断 328
14.4.1 变量消去 328
14.4.2 信念传播 330
14.5 近似推断 331
MCMC采样 331
Metropolis-Hastings算法（MH）
14.5.2 变分推断 334
14.6 话题模型 337
LDA模型
第15章 规则学习 347
15.1 基本概念 347
15.2 序贯覆盖 349
15.3 剪枝优化 352
似然率统计量（LRS）
REP，IREP，RIPPER
15.4 一阶规则学习 354
FOIL算法
15.5 归纳逻辑程序设计（ILP） 357
最小一般泛化（LGG） 358
15.5.2 逆归结 359
第16章 强化学习 371
16.1 任务与奖赏 371
16.2 KK-摇臂赌博机 373
16.2.1 探索与利用 373
ϵϵ-贪心 374
Softmax 375
16.3 有模型学习 377
T步积累奖赏，γγ折扣积累奖赏
基于T步积累奖赏的策略评估
16.3.2 策略改进 379
基于T步积累奖赏的策略迭代算法
基于T步积累奖赏的值迭代算法
16.4 免模型学习 382
蒙特卡罗强化学习（同策略蒙特卡罗强化学习算法，异策略蒙特卡罗强化学习算法）383
时序差分学习（Sarsa算法，<script type="math/tex" id="MathJax-Element-176">Q</script>-学习算法） 386
16.5 值函数近似 388
线性值函数近似Sarsa算法
16.6 模仿学习 390
直接模仿学习 391
逆强化学习（迭代式逆强化学习算法） 391
