决策树模型学习过程
1.根节点选择什么特征
2.只关注决策树的左侧分支
3.再关注右侧分支
纯度
熵就是样本的混乱程度，熵越大，越混乱，纯度就越低
减小熵=信息增益
选择拆分信息增益
选择信息增益大的，以增加纯度
p1left 定义为等于左子树中具有正标签(即猫)的示例的分数
w^left 定义为转到左子分支的根节点的所有示例的示例的分数
p1right 定义为等于右子树中具有正标签(即猫)的示例的分数
w^right 定义为转到右子分支的根节点的所有示例的示例的分数
整合
独热编码One-hot
处理两个及两个以上离散的特征，其中一个特征始终取1（热特征）
连续有价值的功能
使用拆分时，只需考虑要拆分的不同值，执行通常的信息增益计算，并决定在该连续值特征提供尽可能高的信息增益时，进行拆分
回归树
预测一个数字
尝试减少每个数据子集的值Y的权重方差
使用多个决策树
一个决策树对数据比较敏感，构建多个决策树的树集成
使用树集合的原因是通过拥有大量决策树并让它们投票，它使整体算法对任何一棵树可能正在做的事情不太敏感，因为它只能获得三分之二的一票或i许多不同的投票,使整体算法更加健壮
有放回抽样（替代抽样）
会有重复，可能有的没有被抽样
随机森林（袋装决策树）
把训练示例放入虚拟包
选k个信息增益最大的特征 然后放入袋子里随机选一个分裂
将参数范围缩小有助于避免过拟合。而且也不用担心某些关键参数没被选上，因为是随机深林，这个决策树没选上，还有下一个决策树。
XGBoost
极端梯度提升，决策树多选择错误的示例
用于分类
用于回归
何时使用决策树
