0
点赞
收藏
分享

微信扫一扫

生成模型和判别模型


摘自李航《统计学习方法》

监督学习的任务

学习一个模型,应用这一模型,对给定的输入预测相应的输出。
这个模型一般的形式为决策函数:
Y=f(X)
或者条件概率分布:
P(Y|X)
监督学习的方法又可以分为:生成方法和判别方法。所学到的模型又称为生成模型和判别模型

生成学习方法

定义

由数据学习联合概率分布P(X,Y)【通常是通过P(X,Y)=P(X|Y)P(X)】,然后求出条件概率分布P(Y|X)作为预测的模型。即:
P(Y|X)=P(X,Y)/P(X)

典型的生成模型

  1. 朴素贝叶斯[通过类内独立性的假设,简化求解联合概率分布]
  2. 隐马尔科夫模型

生成学习方法特点

  1. 可以还原出联合概率分布P(X,Y)
  2. 学习收敛速度更快,即当样本容量增加的时候,学到的模型可以更快的收敛于真实模型
  3. 当存在隐变量时,仍可以用生成学习方法学习

判别学习方法

定义

由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型。判别模型关心的是对给定的输入X,应该预测什么样的输出Y。

典型的判别模型

  1. K近邻、感知机、决策树
    2.逻辑回归、支持向量机、提升方法

生成判别方法特点

  1. 直接学习条件概率或者决策函数,直接面对预测,往往学习的准确率较高
    2.而且,可以对数据进行各种程度上的抽象、定义特征并使用特征,简化学习问题


举报

相关推荐

0 条评论