决策树相关算法_ID3_C45_信息熵_剪枝

决策树算法的主要思想源于Quinlan在1986年提出的ID3算法和1993年提出的C4.5算法，以及由Breiman等人在1984年提出的CART算法，其主要优点是：

决策树学习通常包括3个步骤：

信息增益

为了说明信息增益算法，需要先给出熵entropy的定义，熵表示随机变量的不确定性的度量。设$X$是一个取有限个值的离散随机变量，其概率分布为
$$P(X=x_i)=p_i,i=1,2,...,n$$
则随机变量$X$的熵定义为
$$H(x)=-\sum _{i=1}^n{p}_i\log p_i$$

特征$A$对训练数据集$D$的信息增益$g(D,A)$，定义为集合$D$的经验熵$H(D)$与特征$A$给定条件下$D$的经验条件熵$H(D|A)$之差，即
$$g(D,A)=H(D)-H(D|A)$$

根据信息增益准则的特征选择方法是：对训练数据集（或子集）$D$，计算其每个特征的信息增益，并比较它们的大小，选择信息增益最大的特征。

设训练数据集为$D$，$\left|D\right|$表示样本容量，即样本个数。设有$K$个类$C_k$，$k=1,2,...,K$，$\left|C_k\right|$为属于类$C_k$的样本个数，${\sum }_{k=1}^K\left|C_k\right|=\left|D\right|$。

设特征$A$有$n$个不同的取值 { a 1 , a 2 , . . . , a n } \{a_1,a_2,...,a_n\} {a1​,a2​,...,an​}，根据特征$A$的取值将$D$划分为$n$个子集$D_1,D_2,...,D_n$，$\left|D_i\right|$为$D_i$的样本个数，${\sum }_{i=1}^n\left|D_i\right|=\left|D\right|$。记子集$D_i$中属于类$C_k$的样本的集合为$D_{ik}$，$D_{ik}=D_i\cap C_k$，$\left|D_{ik}\right|$为$D_{ik}$的样本个数。

ID3算法

ID3算法的核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树。具体方法是：从根节点开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子节点；再对子节点递归地调用以上方法，构建决策树；直到所有特征的信息增益均很小或没有特征可以选择为止。

C4.5算法

$C4.5$算法与$ID3$算法相似，$C4.5$对$ID3$进行了改进，在生成树的过程中，改用信息增益比来选择特征。

特征$A$对训练数据集$D$的信息增益比$g_R(D,A)$定义为其信息增益$g(D,A)$与训练数据集$D$关于特征$A$的值的熵$H_A(D)$之比，即
$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$
其中$n$是特征$A$取值的个数，$H_A(D)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}{\log }_2\frac{|D_i|}{|D|}$。

剪枝

为解决决策树学习产生的过拟合现象，通常采用的办法是降低决策树的复杂度，对已生成的决策树进行简化，即剪枝(pruning)。剪枝从已生成的树上裁掉一些子树或叶节点，并将其根节点或父节点作为新的叶节点，从而简化分类树模型。

决策树的剪枝往往通过极小化决策树整体的损失函数或代价函数来实现。设树$T$的叶节点个数为$\left|T\right|$，$t$是树$T$的叶节点，该叶节点有$N_t$个样本点，其中$k$类的样本点有$N_{tk}$个，$k=1,2,...,K$，$H_t(T)$为叶节点$t$上的经验熵，$\alpha \ge 0$为参数，则决策树学习的损失函数可以定义为
$$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha \left|T\right|$$
其中经验熵为
$$H_t(T)=-\sum _k\frac{\left|N_{tk}\right|}{\left|N_t\right|}\log \frac{\left|N_{tk}\right|}{\left|N_t\right|}$$