统计学习方法资源汇总
历时近半年《统计学习方法》的学习，今天告一段落。也没什么好说的，在学习过程遇到的一些坑，和搜集到的一些资料都在此汇总下，方便自己复习查阅。
统计学习方法总结
本书介绍了10种主要的统计学习方法：感知机、k邻近法、朴素贝叶斯、决策树、逻辑斯蒂回归与最大熵模型、支持向量机、提升发方法、EM算法、隐马尔可夫模型和条件随机场。这10中统计学习方法的特点概括总结在下表中。
建议学习顺序
1.k近邻法
所有方法中，最简单的模型，本质上并不算任何学习算法。参考博文有：
- Demon之K近邻法学习笔记
- 返回主页 不积跬步，无以至千里之k-d tree算法
- zouxy09之机器学习算法与Python实践之（一）k近邻（KNN）
2. 决策树
决策树的核心在于对熵的理解，算法有ID3，C4.5，以及CART算法。参考的博文有：
- Demon之决策树学习笔记（一）
- Demon之决策树之剪枝原理与CART算法
- 知乎之能否尽量通俗地解释什么叫做熵？
- BBC关于熵的理解-宇宙的奇迹：时间之箭 BBC
3.感知机和支持向量机
这两部分都属于对几何空间的划分，可以放在一块学，支持向量机是感知机的升级版，该系列对数学的要求较高，是块难啃的骨头。参考博文有：
- Demon之支持向量机学习笔记–原理篇（一）
- Demon之支持向量机学习笔记–原理篇（二）
- Demon之支持向量机学习笔记–实现篇（三）
在总结之余，有一篇大神的博文高达56万的阅读量，可谓是SVM典型之作，强烈推荐。
- 支持向量机通俗导论（理解SVM的三层境界）
4.朴素贝叶斯方法
深刻的贝叶斯原理，它的哲学绝对不是一行简单的贝叶斯公式所能描述的。参考博文有：
- Demon之朴素贝叶斯学习笔记
又发掘了一篇大神之作，现居美国研究心理学，从他口中叙述的贝叶斯令人印象深刻，强烈推荐。
- 刘未鹏之数学之美番外篇：平凡而又神奇的贝叶斯方法
5.逻辑斯蒂回归模型与最大熵模型
对熵有了一定的概念之后，以及了解了概率模型的极大似然估计方法后，便可以开始上述两个模型的学习了。参考博文有：
- Demon之逻辑斯谛回归及其物理含义
- Demon之最大熵模型与GIS ，IIS算法
关于最大熵模型，可以参考吴军之作《数学之美》，深入浅出。
6. EM算法及隐马尔可夫模型
EM算法是解决含隐变量问题的迭代算法，是隐马尔可夫模型中Baum-Welch算法的一般形式，所以必须先学习EM算法，才能理解隐马尔可夫模型的学习算法。而隐马尔可夫模型则可归结为三个大问题：概率计算，参数学习，模型预测。参考的博文有：
- Demon之EM算法及其推广学习笔记
关于EM算法的参考资料较多，可以直接参看上述博文的参考文献。
- Demon之隐马尔可夫学习笔记（一）
- Demon之隐马尔可夫模型之Baum-Welch算法详解
大神之作总是需要单独拎出来，说一下，讲的实在是太棒了。
- 隐马尔可夫模型（HMM）攻略
7. 条件随机场
它是这本书的终极大boss，谁叫它放在了最后呢，它可谓是朴素贝叶斯、逻辑斯蒂回归、最大熵模型及隐马尔科夫模型的综合升级版。所以必须最后一个学，否则云里雾里。参考博文有：
- Demon之条件随机场笔记
- 知乎之如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？
那么这里就有一篇关于应用【概率模型】进行多元分类和序列标注的introduction，参考链接如下：
- Sutton, Charles, and Andrew McCallum. “An introduction to conditional random fields.” Machine Learning 4.4 (2011): 267-373.
能帮助你理解书中所提到的【判别模型】和【生成模型】的区别。
8. 提升方法
指数损失函数的经典应用，三个臭皮匠顶个诸葛亮。参考博文有：
- Demon之提升方法学习笔记
