【skLearn分类、回归算法】随机森林介绍

文章目录

• ​​随机森林介绍​​

• ​​一、概述​​
• ​​二、集成算法​​
• ​​三、skLearn中的集成算法模块​​

随机森林介绍

一、概述

• ​​随机森林是一种集成算法​​。
• 集成学习（ensemble learning） 是时下非常流行的机器学习算法，它本身不是一个单独的机器学习算法，而是通过在数据上构建多个模型，集成所有模型的建模结果。基本上所有的机器学习领域都可以看到集成学习的身影，在现实中集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预测疾病的风险和病患者的易感性。在现在的各种算法竞赛中，随机森林，梯度提升树（GBDT），Xgboost等集成算法的身影也随处可见，可见其效果之好，应用之广。

​​返回顶部​​

二、集成算法

目标： 集成算法会考虑多个评估器的建模结果，汇总之后得到一个综合的结果，以此来获取比单个模型更好的回归或分类表现。

多个模型集成成为的模型叫做​​集成评估器（ensemble estimator）​​，组成集成评估器的每个模型都叫做​​基评估器（base estimator）​​。通常来说，有三类集成算法：装袋法（Bagging），提升法（Boosting）和stacking。

装袋法的核心思想是构建多个相互独立的评估器，然后对其预测进行平均或多数表决原则来决定集成评估器的结果，装袋法的代表模型就是随机森林。

提升法中，基评估器是相关的，是按顺序一一构建的。其核心思想是结合弱评估器的力量一次次对难以评估的样本进行预测，从而构成一个强评估器；提升法的代表模型有Adaboost和梯度提升树。

​​返回顶部​​

三、skLearn中的集成算法模块

sklearn中的集成算法模块：​​ensemble​​

​​返回顶部​​